Question

我希望在pandas DataFrame上创建一个保留函数，该函数在数据的分组部分上运行累积函数。

我想做一些与R plyr 包相似的事情

说我有一些假数据：

df = pd.DataFrame({'x' : np.repeat(np.arange(1,11), 5), 
               'y': np.tile(np.arange(1,6), 10)} )

这给了我们（只显示10条第一行）：

在这种情况下，'x'是我想要分组的列，'y'是我想要运行该功能的。

该函数是一个保留函数，它将一些因子应用于前一个和，并将其添加到当前值。在代码形式中，这是函数应该是什么样子（可能是更好的方式）：

def retention(x, r):
    n = len(x)
    D = np.zeros(n)
    D[0] = x[0]

    for i in range(1,n):
        D[i] = r*D[i - 1] +x[i]

    return D

但是我想在新的'x'值的开头基本上重新开始。

结果应如下所示：

   x  y
0  1  1
1  1  2.25
2  1  3.5625
3  1  4.890625
4  1  6.22265625
5  2  1
6  2  2.25
7  2  3.5625
8  2  4.890625
9  2  6.22265625

我需要解决方案足够灵活，以便我可以按任意数量的列进行分组，并为组提供可变长度。

我尝试了几种方法，但无法得到解决方案。

例如，这不工作：

grouped = df.groupby('x')
grouped.apply(lambda x: retention(df['y'],.25))

注意：在使用 plyr 包之前，我已在R中完成此操作：

retention = function(x , r) {
  n =length(x)
  D = rep(0, n)
  D[1] = x[1]
  for (i in 2:n) {

    D[i]=r*D[i-1] + x[i]

  }
  return(D)
}

x = rep(1:10, each = 5)
y = rep(1:5, 10)
df = data.frame(x,y)

ddply(df, .(x),  summarize, y = retention (y, .25))

Answer 1

有趣的问题。看来你的衰变因子，如果这样称为0.25，则以下两步完成预期的操作（打印前10个观察结果，结果称为z）：

In [67]:

z = df.groupby('x').y.apply(lambda x: np.convolve(x, np.power(0.25, range(len(x)))[:len(x)], mode='full')[:len(x)])
print z
x
1     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
2     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
3     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
4     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
5     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
6     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
7     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
8     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
9     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
10    [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
Name: y, dtype: object
In [68]:

print pd.concat([pd.DataFrame({'x': i, 'z': v}) for i, v in zip(z.index.values, z.values)]).head(10)
   x         z
0  1  1.000000
1  1  2.250000
2  1  3.562500
3  1  4.890625
4  1  6.222656
0  2  1.000000
1  2  2.250000
2  2  3.562500
3  2  4.890625
4  2  6.222656

基本上，累积和操作（使用因子）是使用numpy.convolve完成的。剩下的就是直截了当：只需groupby将数据分组，然后将convolve然后concat应用于结果。

Python中分组数据的累积自定义函数

1 个答案: