程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
您现在的位置: 程式師世界 >> 編程語言 >  >> 更多編程語言 >> Python

[Pandas技巧] 篩選DataFrame含有空值的數據行

編輯:Python
美圖欣賞2022/06/18

數據准備

import pandas as pd
df = pd.DataFrame([['ABC','Good',1],
['FJZ',None,2],
['FOC','Good',None]
],columns=['Site','Remark','Quantity'])

df

注意:上述Remark字段中的數據類型為字符串str類型,空值取值為'None',Quantity字段中的數據類型為數值型,空值取值為nan 


1.篩選指定單列中有空值的數據行

# 語法
df[pd.isnull(df[col])]
df[df[col].isnull()] 
# 獲取Remark字段為None的行
df_isnull_remark = df[df['Remark'].isnull()]
# 獲取Quantity字段為None的行
df_isnull_quantity = df[df['Quantity'].isnull()]

df_isnull_remark

df_isnull_quantity

提示

篩選指定單列中沒有空值的數據行

# 語法
df[pd.notnull(df[col])]
df[df[col].notnull()] 
# 獲取Remark字段為非None的行
df_notnull_remark = df[df['Remark'].notnull()]
# 獲取Quantity字段為非None的行
df_notnull_quantity = df[df['Quantity'].notnull()]

df_notnull_remark

df_notnull_quantity 

2.篩選指定多列中/全部列中滿足所有列有空值的數據行 

# 語法
df[df[[cols]].isnull().all(axis=1)]
df[pd.isnull(df[[cols]]).all(axis=1)]

在df基礎上增加一行生成df1

df1 = pd.DataFrame([['ABC','Good',1],
['FJZ',None,2],
['FOC','Good',None],
[None,None,None]
],columns=['Site','Remark','Quantity'])

# 獲取df1所有列有空值的數據行 
all_df_isnull = df1[df1[['Site','Remark','Quantity']].isnull().all(axis=1)]

all_df_isnull

提示

篩選指定多列中/全部列中滿足所有列沒有空值的數據行 

# 語法
df[df[[cols]].notnull().all(axis=1)]
df[pd.notnull(df[[cols]]).all(axis=1)]
# 獲取df1所有列沒有空值的數據行 
all_df_notnull = df1[df1[['Site','Remark','Quantity']].notnull().all(axis=1)]

all_df_notnull

3.篩選指定多列中/全部列中滿足任意一列有空值的數據行 

# 語法
df[df[[cols]].isnull().any(axis=1)]
df[pd.isnull(df[[cols]]).any(axis=1)]

df1(數據源)

# 獲取df1所有列中滿足任意一列有空值的數據行 
any_df_isnull = df1[df1[['Site','Remark','Quantity']].isnull().any(axis=1)] 

any_df_isnull

提示

篩選指定多列中/全部列中滿足任意一列沒有空值的數據行

# 語法
df[df[[cols]].notnull().any(axis=1)]
df[pd.notnull(df[[cols]]).any(axis=1)]
# 獲取df1所有列中滿足任意一列沒有空值的數據行 
any_df_notnull = df1[df1[['Site','Remark','Quantity']].notnull().any(axis=1)]

any_df_notnull


Numpy裡邊查找NaN值的話,使用np.isnan()

Pabdas裡邊查找NaN值的話,使用.isna()或.isnull()

import pandas as pd
import numpy as np
df = pd.DataFrame({'site1': ['a', 'b', 'c', ''],
'site2': ['a', np.nan, '', 'd'],
'site3': ['a', 'b', 'c', 'd']})

df

df['contact_site'] = df['site1'] + df['site2'] + df['site3']

新增數據列後的df 

res1 = df[df['site2'].isnull()]
res2 = df[df['site2'].isna()]
res3 = df[df['site2']=='']

res1

res2

res3

注意:res1和res2的結果相同,說明.isna()和.isnull()的作用等效


  1. 上一篇文章:
  2. 下一篇文章:
Copyright © 程式師世界 All Rights Reserved