【python爬蟲】爬取豆瓣電影TOP250數據

這次以豆瓣電影TOP250網為例編寫一個爬蟲程序，並將爬取到的數據（排名、電影名和電影海報網址）存入MySQL數據庫中。下面是完整代碼：

Ps：在執行程序前，先在MySQL中創建一個數據庫"pachong"。

import pymysql
import requests
import re
#獲取資源並下載
def resp(listURL):
#連接數據庫
conn = pymysql.connect(
host = '127.0.0.1',
port = 3306,
user = 'root',
password = '******', #數據庫密碼請根據自身實際密碼輸入
database = 'pachong',
charset = 'utf8'
)
#創建數據庫游標
cursor = conn.cursor()
#創建列表t_movieTOP250（執行sql語句）
cursor.execute('create table t_movieTOP250(id INT PRIMARY KEY auto_increment NOT NULL ,movieName VARCHAR(20) NOT NULL ,pictrue_address VARCHAR(100))')
try:
# 爬取數據
for urlPath in listURL:
# 獲取網頁源代碼
response = requests.get(urlPath)
html = response.text
# 正則表達式
namePat = r'alt="(.*?)" src='
imgPat = r'src="(.*?)" class='
# 匹配正則（排名【用數據庫中id代替，自動生成及排序】、電影名、電影海報（圖片地址））
res2 = re.compile(namePat)
res3 = re.compile(imgPat)
textList2 = res2.findall(html)
textList3 = res3.findall(html)
# 遍歷列表中元素,並將數據存入數據庫
for i in range(len(textList3)):
cursor.execute('insert into t_movieTOP250(movieName,pictrue_address) VALUES("%s","%s")' % (textList2[i],textList3[i]))
#從游標中獲取結果
cursor.fetchall()
#提交結果
conn.commit()
print("結果已提交")
except Exception as e:
#數據回滾
conn.rollback()
print("數據已回滾")
#關閉數據庫
conn.close()
#top250所有網頁網址
def page(url):
urlList = []
for i in range(10):
num = str(25*i)
pagePat = r'?start=' + num + '&filter='
urL = url+pagePat
urlList.append(urL)
return urlList
if __name__ == '__main__':
url = r"https://movie.douban.com/top250"
listURL = page(url)
resp(listURL)

結果如下圖：

以上就是我的分享，如果有什麼不足之處請指出，多交流，謝謝！

想獲取更多數據或定制爬蟲的請私信我。