前言

嗨喽，大家好吶，這裡是魔王呀~

目錄（可點擊自己想看的地方）

• 前言
• • • • 本篇代碼提供者: 青燈教育-自游老師
• 環境使用:
• 模塊使用:
• • 如果安裝python第三方模塊:
  • 安裝失敗原因:
  • • • • 失敗一: pip 不是內部命令
        • 失敗二: 出現大量報紅 (read time out)
        • 失敗三: cmd裡面顯示已經安裝過了, 或者安裝成功了, 但是在pycharm裡面還是無法導入
  • 如何配置pycharm裡面的python解釋器?
  • pycharm如何安裝插件?
• 基本思路流程<通用>:
• • • • 一. 數據來源分析
      • 二. 代碼實現步驟過程
    • 采集一本漫畫內容
• 代碼
• • • 導入模塊
    • 確定網址
    • 加入偽裝
    • 發送請求
    • 獲取數據
    • 獲取名字
    • 自動創建文件
    • 請求url地址
    • 請求參數
    • 請求頭
    • 發送請求
    • 解析數據
    • 保存數據
• 尾語

本篇代碼提供者: 青燈教育-自游老師

環境使用:

• Python 3.8
• Pycharm

版本盡量保持一致哦~

模塊使用:

• requests >>> pip install requests
• parsel >>> pip install parsel

如果安裝python第三方模塊:

1. win + R 輸入 cmd 點擊確定, 輸入安裝命令 pip install 模塊名 (pip install requests) 回車
2. 在pycharm中點擊Terminal(終端) 輸入安裝命令

安裝失敗原因:

失敗一: pip 不是內部命令

解決方法: 設置環境變量

失敗二: 出現大量報紅 (read time out)

解決方法: 因為是網絡鏈接超時, 需要切換鏡像源

例如：pip3 install -i https://pypi.doubanio.com/simple/ 模塊名

失敗三: cmd裡面顯示已經安裝過了, 或者安裝成功了, 但是在pycharm裡面還是無法導入

解決方法: 可能安裝了多個python版本 (anaconda 或者 python 安裝一個即可) 卸載一個就好

或者你pycharm裡面python解釋器沒有設置好

如何配置pycharm裡面的python解釋器?

1. 選擇file(文件) >>> setting(設置) >>> Project(項目) >>> python interpreter(python解釋器)
2. 點擊齒輪, 選擇add
3. 添加python安裝路徑

pycharm如何安裝插件?

1. 選擇file(文件) >>> setting(設置) >>> Plugins(插件)
2. 點擊 Marketplace 輸入想要安裝的插件名字 比如:翻譯插件 輸入 translation / 漢化插件 輸入 Chinese
3. 選擇相應的插件點擊 install(安裝) 即可
4. 安裝成功之後 是會彈出 重啟pycharm的選項 點擊確定, 重啟即可生效
   

基本思路流程<通用>:

一. 數據來源分析

1. 明確需求
2. 通過開發者工具進行抓包分析, 分析manhua數據內容來於那裡

一張manhua圖片<url地址> ----> 獲取本章節所有manhua內容來自於哪裡

二. 代碼實現步驟過程

1. 發送請求, 對於剛剛分析得到圖片數據包url地址發送請求
2. 獲取數據, 獲取服務器返回響應數據response
3. 解析數據, 提取所有manhau圖片url地址
4. 保存數據, 把manhua內容保存到本地文件夾

采集一本漫畫內容

采集多章manhua內容 —> 去找尋多個manhau數據包url地址 —> 分析請求url地址參數變化 —> 章節ID變化

只需要獲取所有manhua章節ID就可以了 —> 都目錄頁面 列表頁面 去分析找尋

1. 發送請求, 對於manhau目錄頁面發送請求
2. 獲取數據, 獲取服務器返回響應數據response
3. 解析數據, 提取所有manhua章節ID以及manhua標題

代碼

因審核機制原因，我把網址裡的一些東西刪掉了，小可耐們可以自己添加一下哈，很容易的

還有兩個字，我用拼音代替了，你們可以改回文字哦 ~

如果有不太會改或者有點點小懶惰的小可耐也可以私信我，我發你吶~

（或查看並點擊網頁主頁（文章）左側的流動文字免費獲取哦~（可能需要往下劃一下吶））

導入模塊

# 導入數據請求模塊
import requests
# 導入格式化輸出模塊
import pprint
# 導入數據解析模塊
import parsel
# 導入文件操作模塊
import os

確定網址

link = ''

加入偽裝

# headers請求頭偽裝
headers = {

# user-agent: 用戶代理 表示浏覽器基本身份標識
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36',
}

發送請求

response_1 = requests.get(url=link, headers=headers)

獲取數據

# print(response_1.text)
# 解析數據 獲取數據是什麼樣的, 選擇最適合的解析方法
selector = parsel.Selector(response_1.text)
lis = selector.css('.chapter__list-box .j-chapter-item')

獲取名字

name = selector.css('.de-info__box .comic-title::text').get()

自動創建文件

filename = f'{
name}\\'
if not os.path.exists(filename):
os.mkdir(filename)
for li in list(reversed(lis)):
chapter_id = li.css('a::attr(data-chapterid)').get()
chapter_title = li.css('a::text').getall()[-1].strip()
print(chapter_id, chapter_title)

發送請求, 模擬浏覽器對於url地址發送請求

問號後面的內容, 都是屬於這個url的請求參數, 可以單獨用字典去接受

用python代碼模擬浏覽器, 是需要使用headers請求頭 —> 可以在開發者工具裡面進行復制粘貼

user-agent: 用戶代理 表示浏覽器基本身份標識

如何快速批量替換:

選中替換的內容 ctrl + R 輸入正則表達式命令, 點擊全部替換

 (.*?): (.*)
'$1': '$2',

請求url地址

—> 復制粘貼的

 # https://comic..com/chapter/content/v1/?chapter_id=996914&comic_id=211471&format=1&quality=1&sign=c2f14c1bdb0505254416907f504b4e03&type=1&uid=55123713
url = ''

請求參數

—> 復制粘貼的

 data = {

'chapter_id': chapter_id,
'comic_id': '211471',
'format': '1',
'quality': '1',
'sign': 'c2f14c1bdb0505254416907f504b4e03',
'type': '1',
'uid': '55123713',
}

請求頭

用來偽裝python代碼的 —> 復制粘貼的

 headers = {

'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}

發送請求

 response = requests.get(url=url, params=data, headers=headers)
# <Response [200]> 響應對象, 200狀態碼 表示請求成功
print(response)
# 獲取數據, 獲取服務器返回響應數據
```python
# response.text 獲取文本數據<數據類型: 字符串> response.json() 獲取json字典數據<數據類型: 字典>
print(response.json())

解析數據

— > 獲取數據是什麼樣的, 選擇最適合的解析方法 字典取值, 根據鍵值對提取數據內容

根據冒號左邊的內容[鍵], 提取冒號右邊的內容[值] —> 鍵值對取值 鍵值對與鍵值對之間用逗號隔開的

 image_list = response.json()['data']['page'] # 列表裡面
num = 1
for image in image_list: # 就可以把列表<裝東西盒子>裡面元素, 一個一個提取出來
img_url =image['image']
print(img_url)

保存數據

—> 同樣是需要對圖片url地址發送請求, 並且獲取它數據內容 response.content 獲取二進制數據

 img_content = requests.get(url=img_url, headers=headers).content
# 保存數據, 保存圖片 shipin 音頻 特定格式文件<zip ppt..> 獲取二進制數據內容
# mode模式保存方式 wb w寫入 b二進制 wb以二進制方式進行寫入
with open(filename + chapter_title + str(num) + '.jpg', mode='wb') as f:
f.write(img_content)
num += 1

尾語

成功沒有快車道，幸福沒有高速路。

所有的成功，都來自不倦地努力和奔跑，所有的幸福都來自平凡的奮斗和堅持

——勵志語錄

本文章就寫完啦~感興趣的小伙伴可以復制代碼去試試

你們的支持是我最大的動力！！記得三連哦~ 歡迎大家閱讀往期的文章呀~