具有Category和Object数据类型的Pandas pivot_table会产生不同的结果

时间:2018-02-24 07:38:04

标签: python pandas pivot-table categorical-data

考虑以下数据框:

data = {'person_id': [1,2,2,2,3,4,4,6], 
        'admission_id': [123,234,234,234,345,456,567,678], 
        'timespan': ['12h', '12h', '24h', '36h', '12h', '12h', '24h', '48h'], 
        'label': ['A', 'B', 'B', 'B', 'C', 'C', 'C', 'B'], 
        'value': [56,170,170,170,65,64,53,150]}
df = pd.DataFrame(data=data)

每列的数据类型如下:

<class 'pandas.core.frame.DataFrame'> RangeIndex: 8 entries, 0 to 7 Data columns (total 5 columns): admission_id 8 non-null int64 label 8 non-null object person_id 8 non-null int64 timespan 8 non-null object value 8 non-null int64 dtypes: int64(3), object(2) memory usage: 400.0+ bytes

转换前的表格如下:

before_pivoting_table

执行pivot_table转换会生成下表:

df.pivot_table(values='value', index=['person_id', 'admission_id', 'timespan'], columns='label', fill_value=0)

object_datatype_table

我理想的表结构是person_id和admission_id的每一行显示所有4个时间跨度值的值,即12h,24h,36h和48h,即使它都是空值。

然后我尝试转换&#39; timespan&#39;分成这样的分类数据类型:

df['timespan'] = df['timespan'].astype('category')

执行另一个数据透视表会产生完全不同的结果:

category_datatype_table

我现在在每一行显示所有4个可能的timepan值,但我的第二级行索引admissions_id也会被分类。每个admission_id现在都出现在每个person_id中。

为了澄清,每个admission_id对每个person_id都是唯一的,即没有重复的admission_id,但person_id可以有多个admission_id。

有没有办法创建我应该看起来像这样的理想表结构?:

person_id admission_id timespan A  B   C
     1        123         12h   56 0   0
                          24h   0  0   0
                          36h   0  0   0
                          48h   0  0   0
     2        234         12h   0  170 0
                          24h   0  170 0
                          36h   0  170 0
                          48h   0  0   0
     3        345         12h   0  0   65
                          24h   0  0   0
                          36h   0  0   0
                          48h   0  0   0

1 个答案:

答案 0 :(得分:2)

使用unstack添加stack

word='malayalam'
print(word==word[::-1])

或非常相似:

df1 = df.pivot_table(values='value', 
                     index=['person_id', 'admission_id', 'timespan'], 
                     columns='label', 
                     fill_value=0)
df2 = df1.unstack(fill_value=0).stack()

或者:

df2 = df.pivot_table(values='value', 
                     index=['person_id', 'admission_id'], 
                     columns=['label', 'timespan'], 
                     fill_value=0).stack().fillna(0).astype(int)
df2 = (df.groupby(['person_id', 'admission_id', 'timespan', 'label'])['value']
         .mean()
         .unstack(level=['label','timespan'])
         .fillna(0)
         .stack()
         .fillna(0).astype(int))
print (df2)