一, Python批量爬取某網站圖片代碼展示 簡潔清晰:
1.使用技術包:requests,urllib,BeautifulSoup等;
1.效果展示:
import os import re import requests import json from lxml import etree import urllib from bs4 import BeautifulSoup #下載圖片 def getSogouImagDowld(htmlsrc,filename,path): imgHtml = requests.get(htmlsrc) soup = BeautifulSoup(imgHtml.text, 'html.parser') imgSrcHtml = soup.select('.photo-information-content img') m=0 for i in imgSrcHtml: selector = etree.HTML(str(i)) imgsrc = selector.xpath('//img/@src')[0] print('***** '+imgsrc+' *****'+' Downloading...') try: urllib.request.urlretrieve(imgsrc, path + filename + '/' + str(m) + '.jpg') m = m + 1 print('Download complete!') except IOError: print ("沒有找到文件") #獲取圖片 def getSogouImag(page,limit,path): vpage = page vlimit= limit # imgs = requests.get('https://www.zcool.com.cn/discover.json?cate=1&subCate=7&hasVideo=0&city=0&college=0&recommendLevel=2&sort=9&limit=200&page=1') imgs = requests.get('https://www.zcool.com.cn/search/content.json?word=nutdream&cate=0&type=0&recommendLevel=0&time=0&hasVideo=0&city=0&college=0&sort=5&limit=25&column=5&page=1') jd = json.loads(imgs.text) jdData = jd['data']["data"] # jdData = jd['data'] html_url = [] file_name = [] #保留網址 for jd_json in jdData: if 'pageUrl' in jd_json['object']: pageUrlstr=jd_json['object']['pageUrl'] fileName=jd_json['object']['title'].strip() fileName=re.sub('[a-zA-Z0-9"#$%&\'()*+,-./:;<=>[email protected],。?*、…【】《》?“”‘[\\]^_`{|}~\s]+','', fileName) html_url.append(pageUrlstr) file_name.append(fileName) #創建文件夾 for fileValue in file_name: print('***** ' + str(fileValue) + ' 創建文件夾 *****' + ' Createloading...') fileDY=path+fileValue isExists = os.path.exists(fileDY) # 判斷結果 不存在就創建 if not isExists: os.makedirs(fileDY) #下載圖片 fileNum=0 for url in html_url: print('***** ' + str(url) + ' 下載圖片中 *****' + ' downloadloading...') filename=file_name[fileNum] getSogouImagDowld(url,filename,path) fileNum=fileNum+1 getSogouImag(200,1,'D:/nutdream/')
效果圖:
推薦其他文章:
【Python】-------通過Python爬取某乎動態圖片實例代碼_皮皮冰要做大神-CSDN博客一、找到需要爬取的用戶主頁:例如如下:https://www.zhihu.com/people/chen-ge-monica想要爬取其中的動態圖片進行保存下來。可以通過python實現。二、通過python技術實現。1.先找[動態信息]是如何渲染的,既然前端顯示出來,說明肯定有調取後台數據的url,怎麼查看呢 看如下圖: 按【F12】打開【開發者工具】找到【Network】找到如下url地...https://blog.csdn.net/qq_38366657/article/details/122878530【Python】------- Python 12個常用內置函數的使用方式_皮皮冰要做大神-CSDN博客一,Python 12個常用內置函數的使用方式 :1.max - 獲取最大值;2.min - 獲取最小值;3.list - 轉成列表;4.append - 追加一個元素;5.count - 某個元素出現的次數;6.extend - 已存在的列表中添加新的列表內容;7.index - 找到索引的位置;8.insert - 插入索引任意位置上;9.pop - 移除指定索引位置;10.remove -移除匹配項;11.reverse - 列表元素進行排序;12...https://blog.csdn.net/qq_38366657/article/details/114534914