最近，最火的電視劇莫過於《大秦賦了》，自12月1日開播後，收獲了不錯的口碑。然而隨著電視劇的跟新，該劇在網上引起了激烈的討論，不僅口碑急劇下滑，頗有高開低走的趨勢，同時該劇的評分也由最初的8.9分，下降到了現在的6.5分。
雖然我還沒有看過這個新劇，但是對於小伙伴們討論的內容，卻頗有興趣（主要還是大家老是討論這個劇）。因此，我用Python爬取了《大秦賦》的相關數據，進行了一波分析。
本文完整代碼和數據，大家關注公眾號：數據分析與統計學之美，回復：大秦賦，獲取！
巧婦難為無米之炊，做數據分析之前最重要的就是“數據獲取”。於是，我准備用Python爬取豆瓣上的短評數據以及一些評論時間信息、評價星級信息。
關於數據的爬取主要說以下幾個內容：
第一頁：
https: / / movie. douban. com / subject / 26413293 / comments ? status = P
第二頁：
https: / / movie. douban. com / subject / 26413293 / comments ? start = 20 & limit = 20 & status = P & sort = new_score
第三頁：
https: / / movie. douban. com / subject / 26413293 / comments ? start = 40 & limit = 20 & status = P & sort = new_score
上面我們分別展示了第1-3頁的頁面鏈接，我們主要是觀察其中的規律，其中start是獲取評論的起始位置，limit代表獲取多少條評論數據。觀察結果：3個鏈接的不同在於這個start的不同，在後續翻頁時，我們只需要修改start參數即可。
對於豆瓣的爬取，其實找到真實的短評鏈接，是極其容易的。但是這裡有一點我必須說明，你可以不登陸爬取數據，但是只能是操作一段時間，過一段時間，會檢測到你是爬蟲。因此，你一定要登陸後，攜帶cookie去進行數據的爬取。如果你有時候不知道請求頭中，該放一些什麼，那麼就請都加上，等有空再慢慢總結。
= {
"Accept":
"application/json, text/plain, */*",
"Accept-Language":
"zh-CN,zh;q=0.9",
"Connection":
"keep-alive",
"Host":
"movie.douban.com",
"User-Agent":
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36',
"Cookie":
'這裡是你自己的cookie'
}
cookie有些人可能又不知道在哪裡，還是告訴你一下吧！好多參數都在下面呢，如果你想學好爬蟲，那麼這些參數代表什麼，你總應該需要知道吧。
最終再補充一點：我本來打算把豆瓣上的《大秦賦》短評，全部爬下來作為分析的素材。然而並沒有成功爬取到所有的短評，一波三折，最終只爬到了500條，當然我覺得這也是豆瓣的一種反扒措施，最大可見短評數就500條，多的不給你看。（有大神的話，可以下去研究一下）
爬取後的數據，再怎麼規整，也和用於分析的數據之間，有一定的差距。因此再分析之前，一定的數據清洗是很有必要的。在數據清洗之前，我們簡單看看數據是什麼樣子的。
df = pd. read_csv( "final_all_comment.csv", index_col = 0)
df. head( 10)
結果如下：
其實數據還是挺漂亮的，但是我們還是需要做如下處理：
我們認為：如果’評論時間’和’評論內容’完全一致的話，就認為他是同一條評論，需要將其剔除。
print( "刪除之前的記錄數：", df. shape)
df. drop_duplicates( subset =[ '評論時間', '評論內容'], inplace = True, keep = 'first')
print( "刪除之前的記錄數：", df. shape)
因為《大秦賦》是2020年12月1號開播的，現在是12月16號晚，因此所有的評論數據肯定都是2020年12月開始有的，因此我們只保留有用的“日期”數據（哪一天）。而對於時分秒來說，我們只保留“小時”數據。
df[ "評論天數"] = df[ "評論時間"]. str[ 8: - 9]. astype( int)
df[ "小時"] = df[ "評論時間"]. str[ 11: - 6]. astype( int)
觀察原頁面的評論星級，可以看到所有的星級並不是以數字展示的，而是用星星進行前端渲染出來的，但是頁面的源代碼，卻展示的是星級數。
對應到頁面源代碼中，我們看看又是怎麼樣子的呢？
可以看到：3星的數字是30，其它的以此類推，1星的數字是10，2星的數字是20…我看著就是很不爽，因此我在爬取數據的時候，已經將這些數字，全都除以10後計算。
對於一條評論來說，有些人可能手誤，或者湊字數，會出現將某個字或者詞語，重復說多次，因此在進行分詞之前，需要做“機械壓縮去重”操作。下面是我很早之前寫的一段代碼，大家可以去看我的CSDN博客，裡面有很好的解釋。
def func( st):
for i in range( 1, int( len( st) / 2) + 1):
for j in range( len( st)):
if st[ j: j + i] == st[ j + i: j + 2 * i]:
k = j + i
while st[ k: k + i] == st[ k + i: k + 2 * i] and k < len( st):
k = k + i
st = st[: j] + st[ k:]
return st
st = "我愛你我愛你我愛你好你好你好哈哈哈哈哈"
func( st)
結果如下：
利用上述函數，我們可以對爬取到的數據，應用此操作。
def func( st):
for i in range( 1, int( len( st) / 2) + 1):
for j in range( len( st)):
if st[ j: j + i] == st[ j + i: j + 2 * i]:
k = j + i
while st[ k: k + i] == st[ k + i: k + 2 * i] and k < len( st):
k = k + i
st = st[: j] + st[ k:]
return st
df[ "評論內容"] = df[ "評論內容"]. apply( func)
俗話說：“字不如表，表不如圖”。爬取到的數據，最終做可視化的呈現，才能夠讓大家對數據背後的規律，有一個清晰的認識。下面我們從以下幾個方面來進行數據可視化分析。
關於數據可視化工具，我就不用pyecharts了，我還是回歸原始，用最原始的matplotlib庫進行數據可視化的展示。畢竟我們沒有什麼復雜的展示，代碼越簡短越好。
從圖中可以看出：短評數量在12月4日之前，一直處於上升趨勢，在12月4日達到頂峰。和文章最開始的說明一致，前面幾天觀眾對於該劇的期待值較高，但是在12月4日後，突然出現斷崖式下降，說明隨著該劇的更新，大家有所失望了。
最近總聽到周圍有人在討論這部劇，下面就來看看大家都是在啥時候追劇呢？從24小時圖中可以看出：晚上7-24點，評論急劇上升，大多數人都是6點下班，可能吃個飯到7點左右，或者直接在下班過程中，就開始了一天的追劇。這裡還有一波早高峰5-8點，難道睡不著？早上還要起來刷刷據，然後上班。這裡還有兩個時間段：上午10-11點，中午12-15點，大家可以分析下，肯定有相當一部分小伙伴，正在摸魚工作呀🤭
劇究竟好不好，看看觀眾的評分少不了，這也是觀眾最直觀的想法。
從下圖中可以看出：大家對於該劇的哦=評價還是很低的，1星和2星基本占據了整個餅圖，也就是說該劇並沒有得到大家的認可。
其實大家對於該劇最大的爭論點，還是由張魯一飾演的嬴政。40歲的張魯一，竟然飾演13歲的少年嬴政，然後向36歲朱珠飾演的趙姬分享喜訊，這個角色顯色很不協調。很多人支護：難道請不起小演員嗎？
還有一部分人，對該劇的劇情和台詞很是吐槽，嬴政稱如果呂不韋是自己的生父，願意跟他一起離開秦國浪跡天涯，這真的是少年老成的嬴政能說出來的話嗎？
《大秦賦》是“大秦帝國”系列的第四部，原名為《大秦帝國之天下》，播出時改為了《大秦賦》。於是很多人將這部劇和2009年播出的《大秦帝國》作比較，以此來諷刺該劇。
好了，今天的分享就到此為止。如果你有更多的時間，更多的分析思路，可以下去拓展哦！
