Question

如果我执行groupby（），然后使用多级索引进行rolling（）计算，则会重复索引中的一个级别 - 最奇怪的。我正在使用Pandas 0.18.1

import pandas as pd
df = pd.DataFrame(data=[[1, 1, 10, 20], [1, 2, 30, 40], [1, 3, 50, 60],
                        [2, 1, 11, 21], [2, 2, 31, 41], [2, 3, 51, 61]],
                  columns=['id', 'date', 'd1', 'd2'])

df.set_index(['id', 'date'], inplace=True)
df = df.groupby(level='id').rolling(window=2)['d1'].sum()
print(df)
print(df.index)

输出如下

id  id  date
1   1   1        NaN
        2       40.0
        3       80.0
2   2   1        NaN
        2       42.0
        3       82.0
Name: d1, dtype: float64
MultiIndex(levels=[[1, 2], [1, 2], [1, 2, 3]],
           labels=[[0, 0, 0, 1, 1, 1], [0, 0, 0, 1, 1, 1], [0, 1, 2, 0, 1, 2]],
           names=[u'id', u'id', u'date'])

奇怪的是，id列现在在多索引中显示两次。移动[＆＃39; d1＆＃39;]列选择并没有任何区别。

非常感谢任何帮助。

由于保罗

Answer 1

是bug。

但apply的版本效果不错，此替代方案为here（仅d1已移至apply）：

df = df.groupby(level='id').d1.apply(lambda x: x.rolling(window=2).sum())
print(df)
id  date
1   1        NaN
    2       40.0
    3       80.0
2   1        NaN
    2       42.0
    3       82.0
Name: d1, dtype: float64

Answer 2

使用pandas==1.1.1，看起来也可以在没有.apply的情况下完成

使用.apply

method1 = test_df.groupby(level="id").d1.apply(lambda x: x.rolling(window=2).sum())
print(method1)
id  date
1   1        NaN
    2       40.0
    3       80.0
2   1        NaN
    2       42.0
    3       82.0
Name: d1, dtype: float64

不使用.apply

method2 = test_df.groupby(level="id").d1.rolling(window=2).sum()
print(method2)
id  date
1   1        NaN
    2       40.0
    3       80.0
2   1        NaN
    2       42.0
    3       82.0
Name: d1, dtype: float64

Check equality

try:
    np.testing.assert_array_equal(method1.to_numpy(), method2.to_numpy())
    print("Matching outputs")
except AssertionError as err:
    print("MisMatching outputs")

检查相等性的结果

Matching outputs

在具有多级索引的Pandas Dataframe上执行groupby和滚动窗口会导致重复的索引条目

2 个答案: