python爬蟲入門案例day04:百度圖片

python爬蟲入門案例day04:百度圖片

目標網站

百度圖片

目標網址

https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=index&fr=&hs=0&xthttps=111110&sf=1&fmq=&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word=%E7%BA%A2%E7%8E%AB%E7%91%B0&oq=%E7%BA%A2%E7%8E%AB%E7%91%B0&rsp=-1

開發環境

1、window11
2、python3.7
3、PyCharm Community Edition 2021.2.1
4、雙核浏覽器
5、浏覽器自帶開發者工具

網站分析

在下拉網頁的過程中發現，會不斷加載出新的圖片，說明該網頁為動態網頁，那我們可以初步猜想圖片的鏈接存放在通過Ajax請求的網絡數據包中，抓包過程如圖：

數據包url規律分析

每個Ajxa請求數據包url如下：
1、https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8495119586399682773&ipn=rj&ct=201326592&is=&fp=result&fr=&word=%E7%BA%A2%E7%8E%AB%E7%91%B0&queryWord=%E7%BA%A2%E7%8E%AB%E7%91%B0&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&expermode=&nojc=&isAsync=&pn=30&rn=30&gsm=1e&1659353849484=
2、https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8495119586399682773&ipn=rj&ct=201326592&is=&fp=result&fr=&word=%E7%BA%A2%E7%8E%AB%E7%91%B0&queryWord=%E7%BA%A2%E7%8E%AB%E7%91%B0&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&expermode=&nojc=&isAsync=&pn=60&rn=30&gsm=3c&1659353849590=
3、https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8495119586399682773&ipn=rj&ct=201326592&is=&fp=result&fr=&word=%E7%BA%A2%E7%8E%AB%E7%91%B0&queryWord=%E7%BA%A2%E7%8E%AB%E7%91%B0&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&expermode=&nojc=&isAsync=&pn=90&rn=30&gsm=5a&1659353849931=
分析發現最後一個參數可以刪除，不影響數據請求，參數pn以30起始隔間為30遞增

數據解析分析過程

源代碼

爬取到的紅玫瑰圖片