Pandas數據分析03——pandas索引設置和操作（用法全面解析）

 參考書目：《深入淺出Pandas：利用Python進行數據處理與分析》

pandas的數據結構和excel表類似，會有行列，還有各自的名稱，這些行列就是索引，通過索引可以快速找到數據。

建立索引

import numpy as np
import pandas as pd
import datetime
data = 'https://www.gairuo.com/file/data/dataset/team.xlsx'
df = pd.read_excel(data, index_col='name') # 讀取時候設置索引為 name
#或者先讀取，再設置
df=pd.read_excel(data)
df.set_index('name',inplace=True)

 多重索引

#多重索引
df.set_index('name','team') # 設置月份為索引
df.set_index([df.name.str[0],'name']) # 姓名第一個字母和姓名設為索引

序列索引 

#序列索引
s = pd.Series([1, 2, 3, 4])
df.set_index(s) # 指定一個索引
df.set_index([s, 'name']) # 指定的索引和現有字段同時指定
df.set_index([s, s**2]) # 計算索引

其他的參數

# 其他的參數
df.set_index('month', drop=False) # 保留原列
df.set_index('month', append=True) # 保留原來的索引
df.set_index('month', inplace=True) # 建立索引並重寫覆蓋 df

重置索引

#重置索引
df.reset_index() # 清除索引
df.set_index('month').reset_index() # 相當於啥也沒干
# 刪除原索引，month 列沒了
df.set_index('month').reset_index(drop=True)
df2.reset_index(inplace=True) # 覆蓋使生效
# year 一級索引取消
df.set_index(['month', 'year']).reset_index(level=1)
df2.reset_index(level='class') # 同上使用層級索引名
df.reset_index(level='class', col_level=1) # 列索引
# 不存在層級名稱的填入指定名稱
df.reset_index(level='class', col_level=1, col_fill='species')

索引類型

索引類型
# RangeIndex: 單調整數范圍的不可變索引。
# Int64Index: int64類型，有序可切片集合的不可變 ndarray。
# UInt64Index: 無符號整數標簽的
# Float64Index: Float64 類型
# CategoricalIndex  類別索引

pd.RangeIndex(1,100,2)
# RangeIndex(start=1, stop=100, step=2)
pd.Index([1, 2, 3])
# Int64Index([1, 2, 3], dtype='int64')
pd.Int64Index([1,2,3,-4], name='num') # v2.0 將棄用
# Int64Index([1, 2, 3, -4], dtype='int64', name='num')
pd.UInt64Index([1,2,3,4]) # v2.0 將棄用
# UInt64Index([1, 2, 3, 4], dtype='uint64')
pd.Float64Index([1.2,2.3,3,4]) # v2.0 將棄用
# Float64Index([1.2, 2.3, 3.0, 4.0], dtype='float64')
pd.CategoricalIndex(['a', 'b', 'a', 'b']) #類別索引
# CategoricalIndex(['a', 'b', 'a', 'b'], categories=['a', 'b'], ordered=False, dtype='category')

#間隔索引

#間隔索引
pd.interval_range(start=0, end=5,closed='left') ##IntervalIndex([(0, 1], (1, 2], (2, 3], (3, 4], (4, 5]], 默認closed='right', dtype='interval[int64]')

 #多層索引

#多層索引
arrays = [[1, 1, 2, 2], ['red', 'yellow', 'red', 'blue']]
pd.MultiIndex.from_arrays(arrays, names=('number', 'color')) #MultiIndex([(1, 'red'),(1, 'blue'),(2, 'red'),(2, 'blue')],names=['number', 'color'])

日期

# 從一個日期連續到另一個日期
pd.date_range(start='1/1/2018', end='1/08/2018')
# 指定開始時間和周期
pd.date_range(start='1/1/2018', periods=8)
#周期索引
# 以月為周期
pd.period_range(start='2017-01-01', end='2018-01-01', freq='M')
# 周期嵌套
pd.period_range(start=pd.Period('2017Q1', freq='Q'),end=pd.Period('2017Q2', freq='Q'), freq='M')
#PeriodIndex(['2017-03', '2017-04', '2017-05', '2017-06'], dtype='period[M]', freq='M')
#秒為周期
t = pd.period_range('2020-5-1 10:00:05', periods=8, freq='S')
pd.PeriodIndex(t,freq='S')

#時間差索引
pd.TimedeltaIndex(data =['06:05:01.000030', '+23:59:59.999999',
'22 day 2 min 3us 10ns', '+23:29:59.999999','+12:19:59.999999'])
# 使用 datetime
pd.TimedeltaIndex(['1 days', '1 days, 00:00:05',
np.timedelta64(2, 'D'), datetime.timedelta(days=2, seconds=2)])

索引對象

#創建索引
pd.Index([1, 2, 3]) # Int64Index([1, 2, 3], dtype='int64')
pd.Index(list('abc')) # Index(['a', 'b', 'c'], dtype='object')
pd.Index(['e', 'd', 'a', 'b'], name='something') # 指定索引名稱 name

df.index # RangeIndex(start=0, stop=4, step=1)
df.columns # Index(['month', 'year', 'sale'], dtype='object')

 索引屬性

#以下方法也適用於 df.columns, 因為都是 index 對象：
df.index.name # 名稱
df.index.array # array 數組
df.index.dtype # 數據類型
df.index.shape # 形狀
df.index.size # 元素數量
df.index.values # array 數組
# 其他，不常用
df.index.empty # 是否為空
df.index.is_unique # 是否不重復
df.index.names # 名稱列表
df.index.is_all_dates # 是否全是日期時間
df.index.has_duplicates # 是否有重復值
df.index.values # 索引的值 array

索引操作

#以下方法也適用於 df.columns
f.index.astype('int64') # 轉換類型
df.index.isin() # 是否存在，見下方示例
df.index.rename('number') # 修改索引名稱
df.index.nunique() # 不重復值的數量
df.index.sort_values(ascending=False,) # 排序,倒序
df.index.map(lambda x:x+'_') # map 函數處理
df.index.str.replace('_', '') # str 替換
df.index.str.split('_') # 分隔
df.index.to_list() # 轉為列表
df.index.to_frame(index=False, name='a') # 轉成 DataFrame
df.index.to_series() # 轉 series
df.index.to_numpy() # 轉為 numpy
df.index.unique() # 去重
df.index.value_counts() # 去重及數量
df.index.where(df.index=='a') # 篩選
df.index.rename('grade', inplace=False) # 重命名索引名稱
df.index.rename(['species', 'year']) # 多層，重命名索引名稱
df.index.max() # 最大值
df.index.argmax() # 最大索引值
df.index.any() #函數檢查索引中的任何元素是否為true
df.index.all()
df.index.T # 轉置，多層索引裡很有用

# 其他，不常用
df.index.append(pd.Index([4,5])) # 追加
df.index.repeat(2) # 重復幾次
df.index.inferred_type # 推測數據類型
df.index.hasnans # 有沒有空值
df.index.is_monotonic_decreasing # 是否單調遞減
df.index.is_monotonic # 是否單調遞增
df.index.is_monotonic_increasing # 是否單調遞增
df.index.nbytes # 基礎數據中的字節數
df.index.ndim # 維度數，維數
df.index.nlevels # 索引層級數，通常為 1
df.index.min() # 最小值
df.index.argmin() # 最小索引值
df.index.argsort() # 順序值組成的數組
df.index.asof(2) # 返回最近的索引
# numpy dtype or pandas type
df.index.astype('int64', copy=True) # 深拷貝
# 拷貝
df.index.copy(name='new', deep=True, dtype='int64')
df.index.delete(1) # 刪除指定位置
# 對比不同
df.index.difference(pd.Index([1,2,4]), sort=False)
df.index.drop('a', errors='ignore') # 刪除
df.index.drop_duplicates(keep='first') # 去重值
df.index.droplevel(0) # 刪除層級
df.index.dropna(how='all') # 刪除空值
df.index.duplicated(keep='first') # 重復值在結果數組中為True
df.index.equals(df.index) # 與另外一個索引對象是否相同
df.index.factorize() # 分解成（array:0-n, Index）
df.index.fillna(0, {0:'nan'}) # 填充空值
# 字符列表, 把 name 值加在第一位, 每個值加10
df.index.format(name=True, formatter=lambda x:x+10)
# 返回一個 array, 指定值的索引位數組，不在的為 -1
df.index.get_indexer([2,9])
# 獲取 指定層級 Index 對象
df.index.get_level_values(0)
# 指定索引的位置，見示例
df.index.get_loc('b')
df.index.insert(2, 'f') # 在索引位 2 插入 f
df.index.intersection(df.index) # 交集
df.index.is_(df.index) # 類似 is 檢查
df.index.is_categorical() # 是否分類數據
df.index.is_type_compatible(df.index) # 類型是否兼容
df.index.is_type_compatible(1) # 類型是否兼容
df.index.isna() # array 是否為空
df.index.isnull() # array 是否缺失值
df.index.join(df.index, how='left') # 連接
df.index.notna() # 是否不存在的值
df.index.notnull() # 是否不存在的值
df.index.ravel() # 展平值的ndarray
df.index.reindex(['a','b']) # 新索引 (Index,array:0-n)
df.index.searchsorted('f') # 如果插入這個值排序後在哪個索引位
df.index.searchsorted([0, 4]) # array([0, 3]) 多個
df.index.set_names('quarter') # 設置索引名稱
df.index.set_names('species', level=0)
df.index.set_names(['kind', 'year'], inplace=True)
df.index.shift(10, freq='D') # 日期索引向前移動 10 天
idx1.symmetric_difference(idx2) # 兩個索引不同的內容
idx1.union(idx2) # 拼接
df.add_prefix('t_') # 表頭加前綴
df.add_suffix('_d') # 表頭加後綴
df.first_valid_index() # 第一個有值的索引
df.last_valid_index() # 最後一個有值的索引
# 掩碼設置的值的新索引, 小於 10 的變為 0
df.index.putmask(df.index<10, 0)

索引重命名

s.rename_axis("animal") # 索引重命名
df.rename_axis(["dow", "hr"]) # 多層索引索引名修改
df.rename_axis('info', axis="columns") # 修改行索引名
# 修改多層行索引名
df.rename_axis(index={'a': 'A', 'b': 'B'})
# 修改多層列索引名
df.rename_axis(columns={'name': 's_name', 'b': 'B'})
df.rename(columns={'name': 's_name', 'b': 'B'},inplace=True) #修改列名
df.rename_axis(columns=str.upper) # 行索引名變大寫

修改索引

# 一一對應修改列索引
df.rename(columns={"A": "a", "B": "c"})
df.rename(str.lower, axis='columns')
# 修改行索引
df.rename(index={0: "x", 1: "y", 2: "z"})
df.rename({1: 2, 2: 4}, axis='index')
# 修改數據類型
df.rename(index=str)
# 重新修改索引
replacements = {l1:l2 for l1, l2 in zip(list1, list2)}
df.rename(replacements)
# 列名加前綴
df.rename(lambda x:'t_' + x, axis=1)
# 利用 iter() 函數的 next 特性修改
df.rename(lambda x, y=iter('abcdef'): next(y), axis=1)
# 修改列名，用解包形式生成新舊字段字典
df.rename(columns=dict(zip(df, list('abcd'))))

使用set_axis修改

# 修改索引
df.set_axis(['a', 'b', 'c'], axis='index')
# 修改列名
df.set_axis(list('abcd'), axis=1)
# 使修改生效
df.set_axis(['a', 'b'], axis='columns', inplace=True)
# 傳入索引內容
df.set_axis(pd.Index(list('abcde')), axis=0)

案例

# idx.isin() 是否存在
idx = pd.Index([1,2,3])
df.index.isin(idx)
# array([False, False, False, False])
df.index.isin(['a','b'])
# array([ True, True, False, False])
midx = pd.MultiIndex.from_arrays([[1,2,3],['red', 'blue', 'green']],names=('number', 'color'))
midx.isin([(1, 'red'), (3, 'red')])
# array([ True, False, False])
dates = ['2000-03-11', '2000-03-12', '2000-03-13']
dti = pd.to_datetime(dates)
dti.isin(['2000-03-11'])
# array([ True, False, False])
# i.argsort() 排序
# 將對索引進行排序的整數索引，見下文示例
idx = pd.Index(['b', 'a', 'd', 'c'])
order = idx.argsort() # array([1, 0, 3, 2])
idx[order] # Index(['a', 'b', 'c', 'd'], dtype='object')
# i.asof(2) 返回最近的索引, 支持日期，可實現找最近日期
# 從索引中返回標簽；如果不存在，則返回前一個標簽
idx2 = pd.Index([1,3,6])
idx2.asof(5) # 3
idx2.asof(6) # 6
idx2.asof(-1) # nan
# index.get_loc 指定索引的位置，見示例
unique_index = pd.Index(list('abc'))
unique_index.get_loc('b') # 1
monotonic_index = pd.Index(list('abbc'))
monotonic_index.get_loc('b') # slice(1, 3, None)
non_monotonic_index = pd.Index(list('abcb'))
non_monotonic_index.get_loc('b')
# array([False, True, False, True], dtype=bool)