python爬蟲100例教程 python爬蟲實例100例子
相關下載地址：https://download.csdn.net/download/dhyuan_88/31825677
涉及主要知識點:
web是如何交互的
requests庫的get、post函數的應用
response對象的相關函數，屬性
python文件的打開，保存
代碼中給出了注釋，並且可以直接運行哦
如何安裝requests庫(安裝好python的朋友可以直接參考，沒有的，建議先裝一哈python環境)
windows用戶，Linux用戶幾乎一樣:
打開cmd輸入以下命令即可，如果python的環境在C盤的目錄，會提示權限不夠，只需以管理員方式運行cmd窗口
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
Linux用戶類似(ubantu為例): 權限不夠的話在命令前加入sudo即可
sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
python爬蟲100例教程 python爬蟲實例100例子
1.爬取強大的BD頁面，打印頁面信息
# 第一個爬蟲示例,爬取百度頁面
import requests #導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.get(“http://www.1xuni.cn”) #生成一個response對象
response.encoding = response.apparent_encoding #設置編碼格式
print(“狀態碼:”+ str( response.status_code ) ) #打印狀態碼
print(response.text)#輸出爬取的信息
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
2.常用方法之get方法實例，下面還有傳參實例
# 第二個get方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.get(“http://httpbin.org/get”) #get方法
print( response.status_code ) #狀態碼
print( response.text )
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
3. 常用方法之post方法實例，下面還有傳參實例
# 第三個 post方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.post(“http://httpbin.org/post”) #post方法訪問
print( response.status_code ) #狀態碼
print( response.text )
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
4. put方法實例
# 第四個 put方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.put(“http://httpbin.org/put”) # put方法訪問
print( response.status_code ) #狀態碼
print( response.text )
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
5.常用方法之get方法傳參實例(1)
如果需要傳多個參數只需要用&符號連接即可如下
# 第五個 get傳參方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.get(“http://httpbin.org/getname=hezhi&age=20”) # get傳參
print( response.status_code ) #狀態碼
print( response.text )
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
6.常用方法之get方法傳參實例(2)
params用字典可以傳多個
# 第六個 get傳參方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
data = {
“name”:“hezhi”,
“age”:20
}
response = requests.get( “http://httpbin.org/get” , params=data ) # get傳參
print( response.status_code ) #狀態碼
print( response.text )
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
7.常用方法之post方法傳參實例(2) 和上一個有沒有很像
# 第七個 post傳參方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
data = {
“name”:“hezhi”,
“age”:20
}
response = requests.post( “http://httpbin.org/post” , params=data ) # post傳參
print( response.status_code ) #狀態碼
print( response.text )
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
8.關於繞過反爬機制，以zh爸爸為例
# 第好幾個方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.get( “http://www.mijiw.cn”) #第一次訪問知乎，不設置頭部信息
print( “第一次,不設頭部信息,狀態碼:”+response.status_code )# 沒寫headers，不能正常爬取，狀態碼不是 200
#下面是可以正常爬取的區別，更改了User-Agent字段
headers = {
“User-Agent”:“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36”
}#設置頭部信息,偽裝浏覽器
response = requests.get( “http://www.ikshuju.cn” , headers=headers ) #get方法訪問,傳入headers參數，
print( response.status_code ) # 200！訪問成功的狀態碼
print( response.text )
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
9.爬取信息並保存到本地,
因為目錄關系，在D盤建立了一個叫做爬蟲的文件夾，然後保存信息
注意文件保存時的encoding設置
# 爬取一個html並保存
import requests
url = “http://www.a5ymg.cn”
response = requests.get( url )
response.encoding = “utf-8” #設置接收編碼格式
print(" r的類型" + str( type(response) ) )
print(" 狀態碼是:" + str( response.status_code ) )
print(" 頭部信息:" + str( response.headers ) )
print( " 響應內容:" )
print( response.text )
#保存文件
file = open(“D:爬蟲songzifc.cn.html”,“w”,encoding=“utf”) #打開一個文件，w是文件不存在則新建一個文件，這裡不用wb是因為不用保存成二進制
file.write( response.text )
file.close()
wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
10.爬取圖片，保存到本地
#保存百度圖片到本地
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.get(“https://www.baidu.com/img/baidu_jgylogo3.gif”) #get方法的到圖片響應
file = open(“D:爬蟲aidu_logo.gif”,“wb”) #打開一個文件,wb表示以二進制格式打開一個文件只用於寫入
file.write(response.content) #寫入文件
file.close()#關閉操作，運行完畢後去你的目錄看一眼有沒有保存成功
python爬蟲100例教程 python爬蟲實例100例子，
相關下載地址：https://download.csdn.net/download/dhyuan_88/31825677
先自我介紹一下，小編13年上師交大畢業，曾經在小公司待過，去過華為OPPO等大廠，18年進入阿裡，直到現在。深知大多數初中級java工程師，想要升技能，往往是需要自己摸索成長或是報班學習，但對於培訓機構動則近萬元的學費，著實壓力不小。自己不成體系的自學效率很低又漫長，而且容易碰到天花板技術停止不前。因此我收集了一份《java開發全套學習資料》送給大家，初衷也很簡單，就是希望幫助到想自學又不知道該從何學起的朋友，同時減輕大家的負擔。添加下方名片，即可獲取全套學習資料哦
