在Pandas

Question

对于我的数据框中的每一行，我需要从结束于该行的三天滑动窗口创建列a 的两个值的每个组合。我的数据框是这样的：

import pandas as pd    
df = pd.DataFrame({'a': [1, 2, 3, 4, 5]},
                   index=[pd.Timestamp('20180101'),
                          pd.Timestamp('20180102'),
                          pd.Timestamp('20180103'),
                          pd.Timestamp('20180105'),
                          pd.Timestamp('20180106')])

请注意，时间索引是不规则的（行之间的间隔不一致）。组合应该是：

row0: None
row1: [(1, 2)]
row2: [(1, 2), (1, 3), (2, 3)]
row4: [(3, 4)]
row5: [(4, 5)]

我可以轻松地完成此操作而无需窗口，只需使用itertools.combinations生成列a的两个元素的每个组合：

import itertools as it
combos = it.combinations(df['a'], 2)
for c in combos:
    print(c)
# (1, 2)
# (1, 3)
# (1, 4)
# (1, 5)
# etc.

但我需要为我的应用程序提供窗口版本。到目前为止，我最好的选择是使用df.rolling。我可以做一些简单的事情，例如在三天的时间内对元素进行求和，例如：

df.rolling('3d').sum()
# get [1, 3, 6, 7, 9] which we expect

但我似乎无法在滚动窗口执行更复杂的操作（或返回比操作中的实数更复杂的类型）。

问题

如何使用df.rolling在滚动窗口上进行组合？或者还有其他工具可以做到这一点吗？

尝试

到目前为止，我的想法是有一些方法可以使用df.rolling和df.apply以及it.combinations为我的数据框中的每个窗口生成迭代器，然后将迭代器插入到我的数据框的新列。类似的东西：

df.rolling('3d').apply(lambda x: it.combinations(x, 2))

给出TypeError：

  

TypeError：必须是实数，而不是itertools.combinations

因为df.rolling.apply要求其参数返回单个实数值，而不是对象，也不是列表。

我还尝试直接在滚动窗口中使用it.combinations：

it.combinations(df.rolling('3d'), 2)

给出：

  

KeyError：＆＃39;未找到列：0＆＃39;

如果我明确选择列a：

it.combinations(df.rolling('3d')['a'], 2)

我明白了：

  

例外：已选择的列

那么有没有办法定义一个我可以用df.apply调用的函数，它将我的滚动窗口上的迭代器插入到我的数据帧的每一行的新列中？我是否可以在传递给apply的函数中的当前行以外的行上操作？

Answer 1

好的，这是一个黑客，但它可能有用。

我们要做的就是重复使用df.rolling的窗口设施。我们可以尝试查看代码中的一些非公共部分，但是让我们在我们返回float之前利用我们可以强制函数调用的事实：

In [28]: dummy = df.rolling("3d")["a"].apply((lambda x: print(x) or 0), raw=False)
2018-01-01    1.0
dtype: float64
2018-01-01    1.0
2018-01-02    2.0
dtype: float64
2018-01-01    1.0
2018-01-02    2.0
2018-01-03    3.0
dtype: float64
2018-01-03    3.0
2018-01-05    4.0
dtype: float64
2018-01-05    4.0
2018-01-06    5.0
dtype: float64

所以：

In [29]: roll_slices = []

In [30]: dummy = df.rolling("3d")["a"].apply((lambda x: roll_slices.append(list(combinations(x, 2))) or 0), raw=False)

In [31]: roll_slices
Out[31]: 
[[],
 [(1.0, 2.0)],
 [(1.0, 2.0), (1.0, 3.0), (2.0, 3.0)],
 [(3.0, 4.0)],
 [(4.0, 5.0)]]

之后你可以做你喜欢的事。