程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
您现在的位置: 程式師世界 >> 編程語言 >  >> 更多編程語言 >> Python

【Python】------ Python批量爬取某網站圖片代碼展示

編輯:Python

一, Python批量爬取某網站圖片代碼展示 簡潔清晰:

1.使用技術包:requests,urllib,BeautifulSoup等;

1.效果展示:

import os
import re
import requests
import json
from lxml import etree
import urllib
from bs4 import BeautifulSoup
#下載圖片
def getSogouImagDowld(htmlsrc,filename,path):
imgHtml = requests.get(htmlsrc)
soup = BeautifulSoup(imgHtml.text, 'html.parser')
imgSrcHtml = soup.select('.photo-information-content img')
m=0
for i in imgSrcHtml:
selector = etree.HTML(str(i))
imgsrc = selector.xpath('//img/@src')[0]
print('***** '+imgsrc+' *****'+' Downloading...')
try:
urllib.request.urlretrieve(imgsrc, path + filename + '/' + str(m) + '.jpg')
m = m + 1
print('Download complete!')
except IOError:
print ("沒有找到文件")
#獲取圖片
def getSogouImag(page,limit,path):
vpage = page
vlimit= limit
# imgs = requests.get('https://www.zcool.com.cn/discover.json?cate=1&subCate=7&hasVideo=0&city=0&college=0&recommendLevel=2&sort=9&limit=200&page=1')
imgs = requests.get('https://www.zcool.com.cn/search/content.json?word=nutdream&cate=0&type=0&recommendLevel=0&time=0&hasVideo=0&city=0&college=0&sort=5&limit=25&column=5&page=1')
jd = json.loads(imgs.text)
jdData = jd['data']["data"]
# jdData = jd['data']
html_url = []
file_name = []
#保留網址
for jd_json in jdData:
if 'pageUrl' in jd_json['object']:
pageUrlstr=jd_json['object']['pageUrl']
fileName=jd_json['object']['title'].strip()
fileName=re.sub('[a-zA-Z0-9"#$%&\'()*+,-./:;<=>[email protected],。?*、…【】《》?“”‘[\\]^_`{|}~\s]+','', fileName)
html_url.append(pageUrlstr)
file_name.append(fileName)
#創建文件夾
for fileValue in file_name:
print('***** ' + str(fileValue) + ' 創建文件夾 *****' + ' Createloading...')
fileDY=path+fileValue
isExists = os.path.exists(fileDY)
# 判斷結果 不存在就創建
if not isExists:
os.makedirs(fileDY)
#下載圖片
fileNum=0
for url in html_url:
print('***** ' + str(url) + ' 下載圖片中 *****' + ' downloadloading...')
filename=file_name[fileNum]
getSogouImagDowld(url,filename,path)
fileNum=fileNum+1
getSogouImag(200,1,'D:/nutdream/')

效果圖:

 推薦其他文章:

【Python】-------通過Python爬取某乎動態圖片實例代碼_皮皮冰要做大神-CSDN博客一、找到需要爬取的用戶主頁:例如如下:https://www.zhihu.com/people/chen-ge-monica想要爬取其中的動態圖片進行保存下來。可以通過python實現。二、通過python技術實現。1.先找[動態信息]是如何渲染的,既然前端顯示出來,說明肯定有調取後台數據的url,怎麼查看呢 看如下圖: 按【F12】打開【開發者工具】找到【Network】找到如下url地...https://blog.csdn.net/qq_38366657/article/details/122878530【Python】------- Python 12個常用內置函數的使用方式_皮皮冰要做大神-CSDN博客一,Python 12個常用內置函數的使用方式 :1.max - 獲取最大值;2.min - 獲取最小值;3.list - 轉成列表;4.append - 追加一個元素;5.count - 某個元素出現的次數;6.extend - 已存在的列表中添加新的列表內容;7.index - 找到索引的位置;8.insert - 插入索引任意位置上;9.pop - 移除指定索引位置;10.remove -移除匹配項;11.reverse - 列表元素進行排序;12...https://blog.csdn.net/qq_38366657/article/details/114534914


  1. 上一篇文章:
  2. 下一篇文章:
Copyright © 程式師世界 All Rights Reserved