Groupby-Dask的滚动替代方案

时间:2019-03-21 22:31:54

标签: dask

我正在尝试实现滚动平均值,只要在标记为“ A”的列中遇到“ 1”,该平均值就会重置。

例如,以下功能可在熊猫中使用。

import pandas as pd

x = pd.DataFrame([[0,2,3], [0,5,6], [0,8,9], [1,8,9],[0,8,9],[0,8,9], [0,3,5], [1,8,9],[0,8,9],[0,8,9], [0,3,5]])
x.columns = ['A', 'B', 'C']

x['avg'] = x.groupby(x['A'].cumsum())['B'].rolling(2).mean().values

如果我在Dask中尝试类似的代码,则会得到以下信息:

import pandas as pd
import dask

x = pd.DataFrame([[0,2,3], [0,5,6], [0,8,9], [1,8,9],[0,8,9],[0,8,9], [0,3,5], [1,8,9],[0,8,9],[0,8,9], [0,3,5]])
x.columns = ['A', 'B', 'C']

x = dask.dataframe.from_pandas(x, npartitions=3)

x['avg'] = x.groupby(x['A'].cumsum())['B'].rolling(2).mean().values
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-189-b6cd808da8b1> in <module>()
      7 x = dask.dataframe.from_pandas(x, npartitions=3)
      8 
----> 9 x['avg'] = x.groupby(x['A'].cumsum())['B'].rolling(2).mean().values
     10 x

AttributeError: 'SeriesGroupBy' object has no attribute 'rolling'

在搜索了Dask API文档之后,我无法找到所需的实现。

有人能建议以Dask兼容的方式实现此算法吗?

谢谢:)


从那时起,我发现了以下代码片段:

df1 = ddf.groupby('cumsum')['x'].apply(lambda x: x.rolling(2).mean(), meta=('x', 'f8')).compute()

Dask rolling function by group syntax

以下是改编的玩具示例:

import pandas as pd
import dask.dataframe as dd

x = pd.DataFrame([[1,2,3], [2,3,4], [4,5,6], [2,3,4], [4,5,6],  [4,5,6], [2,3,4]])
x['bool'] = [0,0,0,1,0,1,0]
x.columns = ['a', 'b', 'x', 'bool']

ddf = dd.from_pandas(x, npartitions=4)
ddf['cumsum'] = ddf['bool'].cumsum()

df1 = ddf.groupby('cumsum')['x'].apply(lambda x: x.rolling(2).mean(), meta=('x', 'f8')).compute()
df1

这具有正确的功能,但是索引的顺序现在不正确。或者,如果知道如何保留索引的顺序,那将是一个合适的解决方案。

1 个答案:

答案 0 :(得分:0)

您可能想使用map_overlap_cum_agg方法来构建自己的滚动操作(不幸的是,cum_agg的文档记录不充分)。