基于时间的.rolling()因group by而失败

时间:2016-11-26 18:55:52

标签: python pandas group-by

这是Pandas Issue #13966

的代码段
dates = pd.date_range(start='2016-01-01 09:30:00', periods=20, freq='s')
df = pd.DataFrame({'A': [1] * 20 + [2] * 12 + [3] * 8,
                   'B': np.concatenate((dates, dates)),
                   'C': np.arange(40)})

失败:

df.groupby('A').rolling('4s', on='B').C.mean()
ValueError: B must be monotonic

根据上面链接的问题,这似乎是一个错误。有没有人有一个好的解决方法?

2 个答案:

答案 0 :(得分:1)

首先将B设置为索引,以便在其上使用Groupby.resample方法。

df.set_index('B', inplace=True)

Groupby A并根据秒频重新采样。由于resample不能直接用于滚动,因此请使用ffill(转发fillnaNaN限制为0)。 现在使用rolling函数,将窗口大小指定为4(因为freq=4s)间隔,并在C列中显示它的平均值,如下所示:

for _, grp in df.groupby('A'):
    print (grp.resample('s').ffill(limit=0).rolling(4)['C'].mean().head(10)) #Remove head() 

获得的结果输出:

B
2016-01-01 09:30:00    NaN
2016-01-01 09:30:01    NaN
2016-01-01 09:30:02    NaN
2016-01-01 09:30:03    1.5
2016-01-01 09:30:04    2.5
2016-01-01 09:30:05    3.5
2016-01-01 09:30:06    4.5
2016-01-01 09:30:07    5.5
2016-01-01 09:30:08    6.5
2016-01-01 09:30:09    7.5
Freq: S, Name: C, dtype: float64
B
2016-01-01 09:30:00     NaN
2016-01-01 09:30:01     NaN
2016-01-01 09:30:02     NaN
2016-01-01 09:30:03    21.5
2016-01-01 09:30:04    22.5
2016-01-01 09:30:05    23.5
2016-01-01 09:30:06    24.5
2016-01-01 09:30:07    25.5
2016-01-01 09:30:08    26.5
2016-01-01 09:30:09    27.5
Freq: S, Name: C, dtype: float64
B
2016-01-01 09:30:12     NaN
2016-01-01 09:30:13     NaN
2016-01-01 09:30:14     NaN
2016-01-01 09:30:15    33.5
2016-01-01 09:30:16    34.5
2016-01-01 09:30:17    35.5
2016-01-01 09:30:18    36.5
2016-01-01 09:30:19    37.5
Freq: S, Name: C, dtype: float64

<强> TL; DR

在适当设置索引后,使用groupby.apply作为解决方法:

# tested in version - 0.19.1
df.groupby('A').apply(lambda grp: grp.resample('s').ffill(limit=0).rolling(4)['C'].mean())

(OR)

# Tested in OP's version - 0.19.0
df.groupby('A').apply(lambda grp: grp.resample('s').ffill().rolling(4)['C'].mean())

两者都有效。

答案 1 :(得分:0)

>>> df.sort_values('B').set_index('B').groupby('A').rolling('4s').C.mean()