【python爬蟲】爬取《英雄聯盟》英雄及皮膚圖片數據

還記得那些年一起網吧開黑通宵的日子嗎？《英雄聯盟》絕對是大學時期的風靡游戲，即使畢業多年的大學同學相聚，難免不懷念一番當時一起玩《英雄聯盟》的日子。

今天就給大家分享一下英雄及皮膚圖片的爬蟲。

一開始都是先去《英雄聯盟》官網找到英雄及皮膚圖片的網址：

URL = r'https://lol.qq.com/data/info-heros.shtml'

從上面網址可以看到所有英雄都在，按下F12查看源代碼，發現英雄及皮膚圖片並沒有直接給出，而是隱藏在JS文件中。這時候需要點開Network，找到js窗口，刷新網頁，就看到一個champion.js的選項，點擊可以看到一個字典——裡面就包含了所有英雄的名字（英文）以及對應的編號（如下圖）。

但是只有英雄的名字（英文）以及對應的編號並不能找到圖片地址，於是回到網頁，隨便點開一個英雄，跳轉頁面後發現英雄及皮膚的圖片都在，但要下載還需要找到原地址，這是鼠標右擊選擇“在新標簽頁中打開”，新的網頁才是圖片的原地址（如下圖）。

圖中紅色框就是我們需要的圖片地址，經過分析知道：每一個英雄及皮膚的地址只有編號不一樣（http://ossweb-img.qq.com/images/lol/web201310/skin/big266000.jpg），而該編號有6位，前3位表示英雄，後三位表示皮膚。剛才找到的js文件中恰好有英雄的編號，而皮膚的編碼可以自己定義，反正每個英雄皮膚不超過20個，然後組合起來就可以了。

圖片地址搞掂都就可以開始寫程序了：

第一步：獲取js字典

def path_js(url_js):
res_js = requests.get(url_js, verify = False).content
html_js = res_js.decode("gbk")
pat_js = r'"keys":(.*?),"data"'
enc = re.compile(pat_js)
list_js = enc.findall(html_js)
dict_js = eval(list_js[0])
return dict_js

第二步：從 js字典中提取到key值生成url列表

def path_url(dict_js):
pic_list = []
for key in dict_js:
for i in range(20):
xuhao = str(i)
if len(xuhao) == 1:
num_houxu = "00" + xuhao
elif len(xuhao) == 2:
num_houxu = "0" + xuhao
numStr = key+num_houxu
url = r'http://ossweb-img.qq.com/images/lol/web201310/skin/big'+numStr+'.jpg'
pic_list.append(url)
print(pic_list)
return pic_list

第三步：從 js字典中提取到value值生成name列表

def name_pic(dict_js, path):
list_filePath = []
for name in dict_js.values():
for i in range(20):
file_path = path + name + str(i) + '.jpg'
list_filePath.append(file_path)
return list_filePath

第四步：下載並保存數據

def writing(url_list, list_filePath):
try:
for i in range(len(url_list)):
res = requests.get(url_list[i], verify = False).content
with open(list_filePath[i], "wb") as f:
f.write(res)
except Exception as e:
print("下載圖片出錯,%s" %(e))
return False

執行主程序：

if __name__ == '__main__':
url_js = r'http://lol.qq.com/biz/hero/champion.js'
path = r'./data/' #圖片存在的文件夾
dict_js = path_js(url_js)
url_list = path_url(dict_js)
list_filePath = name_pic(dict_js, path)
writing(url_list, list_filePath)

運行後會在控制台打印出每一張圖片的網址：

在文件夾中可以看到圖片已經下載好：

以上就是我的分享，如果有什麼不足之處請指出，多交流，謝謝！

完整代碼，請點擊下載