Pandas Diff()在时间序列的第一个记录中,缺少数据返回NaN

时间:2014-08-13 14:40:20

标签: python numpy pandas dataframe

在Pandas 0.14.1中,diff()不会在时间序列的开头生成值。

使用diff()似乎以不同于cumsum()的方式处理缺失数据,假设NaN == 0.我想知道是否有办法使diff()假设为先前丢失的数据为0(因为它来自在开始时间序列之前)。

例如:

    >print df

    2014-05-01  A     Apple        1
                B     Banana       2
    2014-06-01  A     Apple        3
                B     Banana       4

结果:

    >print df.groupby(level=[1,2]).diff()

    2014-05-01  A     Apple        NaN
                B     Banana       NaN
    2014-06-01  A     Apple        2
                B     Banana       2

当所需的输出为:

    2014-05-01  A     Apple        1
                B     Banana       2
    2014-06-01  A     Apple        2
                B     Banana       2

1 个答案:

答案 0 :(得分:6)

据我所知,groupby(...).diff()只调用np.diff,它总是返回一个比传递给它的数组短的数组1(或n)。

但是填补缺失的数据应该很容易。像这样的东西?

In [175]: df
Out[175]: 
                     d
a          b c        
2014-05-01 A Apple   1
           B Banana  2
2014-06-01 A Apple   3
           B Banana  4

In [176]: df['diff'] = df.groupby(level=[1,2])['d'].diff()

In [177]: df['diff'] = df['diff'].fillna(df['d'])

In [178]: df
Out[178]: 
                     d  diff
a          b c              
2014-05-01 A Apple   1     1
           B Banana  2     2
2014-06-01 A Apple   3     2
           B Banana  4     2