[ 引言 ] 雖然目前dask,cudf等包的出現,使得我們的數據處理大大得到了加速,但是並不是每個人都有比較好的gpu,非常多的朋友仍然還在使用pandas工具包,但有時候真的很無奈,pandas的許多問題我們都需要使用apply函數來進行處理,而apply函數是非常慢的,本文我們就介紹如何加速apply函數600倍的技巧.
我們以Apply為例,原始的Apply函數處理下面這個問題,需要18.4s的時間.
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randint(0, 11, size=(1000000, 5)), columns=('a','b','c','d','e'))
def func(a,b,c,d,e):
if e == 10:
return c*d
elif (e < 10) and (e>=5):
return c+d
elif e < 5:
return a+b
%%time
df['new'] = df.apply(lambda x: func(x['a'], x['b'], x['c'], x['d'], x['e']), axis=1)
CPU times: user 17.9 s, sys: 301 ms, total: 18.2 s
Wall time: 18.4 s因為處理是並行的,所以我們可以使用Swift進行加速,在使用Swift之後,相同的操作在我的機器上可以提升到7.67s.
%%time
# !pip install swifter
import swifter
df['new'] = df.swifter.apply(lambda x : func(x['a'],x['b'],x['c'],x['d'],x['e']),axis=1)
HBox(children=(HTML(value='Dask Apply'), FloatProgress(value=0.0, max=16.0), HTML(value='')))
CPU times: user 329 ms, sys: 240 ms, total: 569 ms
Wall time: 7.67 s使用Pandas和Numpy的最快方法是將函數向量化.如果我們的操作是可以直接向量化的話,那麼我們就盡可能的避免使用：
for循環;
列表處理;
apply等操作
在將上面的問題轉化為下面的處理之後,我們的時間縮短為：421 ms.
%%time
df['new'] = df['c'] * df['d'] #default case e = =10
mask = df['e'] < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'] < 5
df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 134 ms, sys: 149 ms, total: 283 ms
Wall time: 421 ms我們先將上面的類別轉化為int16型,再進行相同的向量化操作,發現時間縮短為：116 ms.
for col in ('a','b','c','d'):
df[col] = df[col].astype(np.int16)
%%time
df['new'] = df['c'] * df['d'] #default case e = =10
mask = df['e'] < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'] < 5
df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 71.3 ms, sys: 42.5 ms, total: 114 ms
Wall time: 116 ms在能轉化為.values的地方盡可能轉化為.values,再進行操作.
此處先轉化為.values等價於轉化為numpy,這樣我們的向量化操作會更加快捷.
於是,上面的操作時間又被縮短為：74.9ms.
%%time
df['new'] = df['c'].values * df['d'].values #default case e = =10
mask = df['e'].values < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'].values < 5
df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 64.5 ms, sys: 12.5 ms, total: 77 ms
Wall time: 74.9 ms通過上面的一些小的技巧,我們將簡單的Apply函數加速了幾百倍,具體的：
Apply: 18.4 s
Apply + Swifter: 7.67 s
Pandas vectorizatoin: 421 ms
Pandas vectorization + data types: 116 ms
Pandas vectorization + values + data types: 74.9ms
Most of the content of this article is referenced by citations
參考文獻：Do You Use Apply in Pandas? There is a 600x Faster Way
作者：Programmer Xiaoba
https://blog.csdn.net/z099164/article/details/122379538
推薦閱讀:
入門: 最全的零基礎學Python的問題 | 零基礎學了8個月的Python | 實戰項目 |學Python就是這條捷徑
干貨:爬取豆瓣短評,電影《後來的我們》 | 38年NBA最佳球員分析 | 從萬眾期待到口碑撲街！唐探3令人失望 | 笑看新倚天屠龍記 | 燈謎答題王 ｜用Python做個海量小姐姐素描圖 ｜碟中諜這麼火,我用機器學習做個迷你推薦系統電影
趣味:彈球游戲 | 九宮格 | 漂亮的花 | 兩百行Python《天天酷跑》游戲!
AI: 會做詩的機器人 | 給圖片上色 | 預測收入 | 碟中諜這麼火,我用機器學習做個迷你推薦系統電影
小工具: Pdf轉Word,輕松搞定表格和水印！ | 一鍵把html網頁保存為pdf！| 再見PDF提取收費！ | 用90行代碼打造最強PDF轉換器,word、PPT、excel、markdown、html一鍵轉換 | 制作一款釘釘低價機票提示器！ ｜60行代碼做了一個語音壁紙切換器天天看小姐姐！｜年度爆款文案
1).臥槽！Pdf轉Word用Python輕松搞定！
2).學Python真香！我用100行代碼做了個網站,幫人PS旅行圖片,賺個雞腿吃
3).首播過億,火爆全網,我分析了《乘風破浪的姐姐》,發現了這些秘密
4).80行代碼！用Python做一個哆來A夢分身
5).你必須掌握的20個python代碼,短小精悍,用處無窮
6).30個Python奇淫技巧集
7).我總結的80頁《菜鳥學Python精選干貨.pdf》,都是干貨
8).再見Python！我要學Go了！2500字深度分析！
9).發現一個舔狗福利！這個Python爬蟲神器太爽了,自動下載妹子圖片
點閱讀原文,看B站我的視頻！
