程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
您现在的位置: 程式師世界 >> 編程語言 >  >> 更多編程語言 >> Python

Python爬蟲和數據分析,石油原油加工產品產量數據處理分析

編輯:Python

前些天發現了一個巨牛的人工智能學習電子書,通俗易懂,風趣幽默,無廣告,忍不住分享一下給大家。(點擊跳轉人工智能學習資料)


微信公眾號:創享日記
發送:原油分析
獲取完整無水印報告+Python源程序代碼


本程序分析了自2014年到2020年每年我國原油加工的產量,並且分析了2019年全國各省份原油加工量。

運行本程序需要requests、bs4、csv、pandas、matplotlib、pyecharts庫的支持,如果缺少某庫請自行安裝後再運行。其中pyecharts庫需要按照這個網站的去安裝:Python的pyecharts安裝 - 派大星微微一笑 - 博客園 (cnblogs.com)

輸出結果是好幾張圖片(請使用支持顯示圖片的編輯器運行,例如anaconda3裡面的spyder編輯器),2個excel表,4個csv文件以及一個名字為render的html文件(需要用浏覽器打開),直觀的數據處理部分是圖片以及html文件,數據處理的是excel文件,這兩個可以直接在報告中使用,詳見課程報告(文件默認生成在與python文件同一目錄下)。


一、任務描述

石油是工業的命脈。

一直到2020年,我國原油產量基本處於平穩的狀態,大部分原油來自國外進口;中國原油加工產量在華東、東北地區占比較大,華南地區相對較少。原油的加工企業對原油的加工有很大的影響,中國石油營業收入及淨利潤也十分可觀。

本課題的目標是用python編程,抓取有關網站的數據,並將獲取數據保存到csv文件和excel文件中,然後使用python對數據進行清洗及處理,利用python可視化,結合數據處理與分析,獲得數據的統計分析結果。

二、數據獲取與清洗

1、數據描述
數據來源:2020年中國原油加工產業現狀分析、2019年中國原油加工量產量及格局分析(當前網絡上暫無2020年數據,故爬取了2019年數據)
數據獲取:2014-2020年中國原油產量統計、中國各地區原油加工比例。

2、使用工具
python是一種功能豐富的語言,它擁有一個強大的基本類庫和數量眾多的第三方擴展。本次報告,使用到的庫有:
1)requests庫
2)BeautifulSoup4庫
3)csv庫
4)pandas庫

3、數據獲取步驟
第一步:從網頁上獲取HTML內容。
第二步:分析網頁內容並提取有用數據
第三步:將獲得的數據寫入Excel文件。

4、程序代碼

  1. 獲取數據代碼如下
    文件夾名稱:報告
    文件名稱: 石油加工產品產量分析

  2. 將獲得各省原油加工產量以及各種油產量放入csv文件中,使用的函數代碼如下:

5 數據清洗後保存到Excel和csv文件,使用的函數、Excel文件截圖,存儲位置如圖4、5、6、7所示:




三、數據處理和分析

1、數據可視化工具
python是一種功能豐富的語言,它擁有一個強大的基本類庫和數量眾多的第三方擴展。報告中使用Matplotlib庫以及pyecharts庫的Map庫實現了數據可視化。

2、先用python 對2014-2020年各種油產量以及2019年各省油產量數據進行可視化處理,所用的函數代碼以及柱狀圖如圖8、9所示。




3、統計各種加工油產量以及各省市油產量數據,可視化後,畫出折線圖、餅狀圖如圖10所示使用的代碼如圖11所示:

注明:代碼詳見下載的源碼文件

4、特別地,我們安裝pyecharts庫將2019年各省油的產量在整個中國地圖中呈現出來,觀看時只需要將鼠標移到對應的省份,這樣觀看更加直觀和方便。結果如圖12所示:(代碼詳見下載的源碼文件)

四、關鍵問題及對策​(詳見下載的報告)

五、數據處理與分析結果分析
綜合以上分析,自2014-2020年各種油產量數據可以看出:
(1)各種加工油產量中柴油穩居第一,潤滑基礎油產量最低,表明我國在柴油方面需求較大,汽油相對較少,潤滑基礎油需求不高。
(2)七種加工油產量中柴油產量在2014年到2017年發展平穩,從2017年到2020年逐年下降;石腦油、潤滑基礎油、石油瀝青的產量逐年上升;汽油在2014到2019年產量逐年上升,但在2020年突然下降,可能受到了疫情的影響;燃料油近些年來產量上下浮動較大,但在2018年到2020年產量一直上升,推測下一年產量還會上升;總體來看,未來除柴油和汽油外,其他油下一年產量可能還會升高,柴油和汽油在經歷疫情影響後可能會積極恢復,再次實現增長。
(3)2019年中國原油加工產量65198.1萬噸,其中:位於第一的是山東省,原油加工量產量11342.2萬噸;第二的是遼寧省,原油加工量產量8186.5萬噸;廣東省進入第三,原油加工量產量4665.6萬噸;其中值得注意的是在其他地區加工的原油占大多數,產量達到10574.8萬噸,這些產量有可能來自暫無數據的山西、重慶、貴州、台灣,還有可能是從國外進口的成品油。
(4)最近一年,2020年中國原油加工產量為67440.8萬噸,同比增長3.4%,表明雖然我國經歷了新冠疫情的影響,但是我國在疫情得到控制後積極恢復,原油加工產量不降反增,原油加工產業受到疫情影響不大。
(5)原油加工產品中,2020年中國石腦油產量為4232萬噸,同比增長8.6%;中國潤滑基礎油產量為875萬噸,同比增長14.3%;中國柴油產量為15904.9萬噸,同比下降4.4%;中國煤油產量為4049.4萬噸,同比下降23.2%;中國汽油產量為13171.7萬噸,同比下降6.7%;中國燃料油產量為3406.3萬噸,同比增長37.9%;中國石油瀝青產量為6279.6萬噸,同比增長24.6%;總體來看我國原油加工產業正不斷發展。

六、程序代碼(詳見下載的報告或源文件)


  1. 上一篇文章:
  2. 下一篇文章:
Copyright © 程式師世界 All Rights Reserved