pandas:多级数据框内的数据透视表

时间:2015-10-16 15:27:26

标签: python pandas pivot dataframe multi-index

我正在尝试透视表,以便在列中转换某些行值,因此从此数据框df_behave

list 
                   date_time      field      value
 1    0 2015-05-22 05:37:59      StudentID   129
      1 2015-05-22 05:37:59      SchoolId    3
      2 2015-05-22 05:37:59      GroupeId     45
 2    3 2015-05-26 05:56:59      StudentID   129
      4 2015-05-26 05:56:59      SchoolId     65
      5 2015-05-26 05:56:59      GroupeId    13
      6 2015-05-26 05:56:59      Reference     87
 3    ......................    ......  ......

为了实现:

list 
                      date_time     StudentID   SchoolId  GroupId    Reference
     1       2015-05-22 05:37:59      129           3         45

     2      2015-05-26 05:56:59      129            65        15       87   

     3    ......................    ......  ......

使用以下代码:

def calculate():
    df_behave['value'] = df_behave['value'].astype(int)
    pi_df=pd.pivot_table(df_behave, 'value', index=['date_time'], columns='field')
    return pi_df

我试过这个:

def calculate():
    df_behave['value'] = df_behave['value'].astype(int)
    for liste, new_df in df_behave.groupby(level=0):
        pi_df=pd.pivot_table(new_df, 'value', index=['date_time'], columns='field')
        print pi_df
    return pi_df

但两人都回复了我ValueError: invalid literal for long() with base 10: 'True'

2 个答案:

答案 0 :(得分:0)

尝试重置索引,将其设置为listdate_timefield,然后取消堆叠field

df.reset_index().set_index(['list', 'date_time', 'field']).unstack('field')

由于您的value列似乎包含非数字数据,并且从上面的示例中它应该只包含整数,请尝试以下方法找到您的错误数据:

bad_rows = []
for n in range(len(df) - 1):
    if not isinstance(df.loc[n, 'value'], int):
        bad_rows.append(n)

您可能首先想尝试强制值:

df['value'] = df['value'].astype('int')

答案 1 :(得分:0)

@Alexander是对的,对于MultiIndex,你最好reset_index并设置他提到的字段并执行取消堆栈。也许你应该过滤掉不必要的字段?

只是一些随机样本数据:

In [308]: df
Out[308]: 
                     date_time     field  value
list index                                     
1    0     2015-05-22 05:37:59       Tom      1
     1     2015-05-22 05:37:59      Kate      2
     2     2015-05-22 05:37:59  GroupeId      3
2    3     2015-05-22 05:37:59       Tom      4
     4     2015-05-22 05:37:59      Kate      5
     5     2015-05-22 05:37:59  GroupeId      6

In [310]: df.set_index(['date_time', 'field'], append=True)\
            .reset_index('index')['value']\
            .unstack('field')
Out[310]: 
field                     GroupeId  Kate  Tom
list date_time                               
1    2015-05-22 05:37:59         3     2    1
2    2015-05-22 05:37:59         6     5    4