程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
您现在的位置: 程式師世界 >> 編程語言 >  >> 更多編程語言 >> Python

【pandas】在Pandas中降低dataframe使用的內存

編輯:Python

想要降低dataframe的內存占用主要有兩種方法:

  • 使用小一點的數值型 datatype
  • object類型的列轉為categorical類型
df = pd.DataFrame({
"col_1":[x for x in range(0, 21)],
"col_2":['even' if val%2==0 else 'odd' for val in range(0, 21)]})
df

# 用info(memory_usage='deep') 看一下真實的內存使用情況
df.info(memory_usage='deep')

可以看到原始memory usage是 1.5KB

1. 把數值字段的datatype換成一個更小的數據類型

但是要注意這些數據的最大值和最小值,確保他們都在這個更小的數據類型的能保留的數據范圍之內

datatype數值范圍int8-128 ~ 127int16-32768 ~ 32767int64-9223372036854775808 ~ 9223372036854775807
df['col_1'] = df['col_1'].astype('int8')
df.info(memory_usage='deep')

數值類型減小之後memory usage是 1.4KB

2. 把object類型轉為categorical類型

df['col_2'] = df['col_2'].astype('category')
df.info(memory_usage='deep')


轉categorical類型之後之後memory usage是 371 bytes


  1. 上一篇文章:
  2. 下一篇文章:
Copyright © 程式師世界 All Rights Reserved