一篇文章教會你利用Python網絡爬蟲獲取分類圖片

【一、項目背景】

博海拾貝是一支互聯網從業者在線教育的團隊,扎根于中國教育行業以及互聯網行業的創新和眼球中,打造專業體系化的互聯網人在線教育平臺。精心創作許多精彩的文章,提供了很多有趣的圖片。

今天來教大家如何使用Python來爬取博海拾貝的圖片,分類保存,寫入文檔。

【二、項目目標】

創建一個文件夾, 分類保存所有文章圖片。下載成功,結果顯示控制臺。

【三、項目分析】

1、如何找到真正訪問的地址,多網頁請求?

滑動鼠標,觀察網站,右鍵F12 。鼠標滾輪滑動加載新內容。如圖:

點開隨機網頁 , 點開Request URL ,觀察網址的規律。

https://bh.sb/page/1/

https://bh.sb/page/2/

https://bh.sb/page/3/

https://bh.sb/page/4/

觀察到,每增加一頁page/{}/自增加1,用{}代替變換的變量,再用for循環遍歷這網址,實現多個網址請求。

2.  反爬處理

1)獲取正常的 http請求頭,并在requests請求時,設置這些常規的http請求頭。

2)使用 fake_useragent ,產生隨機的UserAgent進行訪問。

聲明: 本文由入駐OFweek維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯系舉報。
侵權投訴

下載OFweek,一手掌握高科技全行業資訊

還不是OFweek會員,馬上注冊
打開app,查看更多精彩資訊 >
成年免费三级视频-成年大片免费视频播放