Question

假设我有一个类似的数据框：

n = 20
dim1 = np.random.randint(1, 3, size=n)
dim2 = np.random.randint(3, 5, size=n)
data1 = np.random.randint(10, 20, size=n)
data2 = np.random.randint(1, 10, size=n)
df = pd.DataFrame({'a': dim1, 'b': dim2 ,'val1': data1, 'val2': data2})

如果我定义一个返回分组的函数：

def h(x):
    if x['val2'].sum() == 0:
        return 0
    else:
        return (x['val1'].sum())*1.0/x['val2'].sum()*1.0

按其中一列进行分组并汇总返回结果：

df.groupby(['a']).aggregate(h)['val1']

虽然它会将所有现有列转换为所需的结果，而不是添加新列

使用聚合时，按两列分组会导致错误：

df.groupby(['a','b']).aggregate(h)['val1']

KeyError: 'val2'

但转换聚合申请似乎有效。

我有两个问题：

为什么申请工作而不是聚合？
如果在通过某组键对数据帧进行分组后，我想使用将组值聚合为新列的函数，那么最好的方法是什么？

提前致谢。

Answer 1

稍微退一步，更快的方法是执行此特定的“聚合”，只需使用sum (it's optimised in cython)几次。

In [11]: %timeit g.apply(h)
1000 loops, best of 3: 1.79 ms per loop

In [12]: %timeit g['val1'].sum() / g['val2'].sum()
1000 loops, best of 3: 600 µs per loop

IMO groupby代码非常多毛，而且通常懒得“黑盒子”通过创建它所看到的值的列表来查看正在发生的事情：

def h1(x):
   a.append(x)
   return h(x)
a = []

警告：有时此列表中的数据类型不一致（在执行任何计算之前， pandas会尝试一些不同的东西）......就像在这个例子中一样！

第二个聚合卡在每个列上，因此该组（引发错误）：

0     10
4     16
8     13
9     17
17    17
19    11
Name: val1, dtype: int64

这是val1列的子系列，其中（a，b）=（1,3）。

这可能是一个错误，在此之后可能会尝试别的东西（我怀疑这就是为什么第一版本有效，这是特殊的原因）......

对于那些感兴趣的人a我得到的是：

In [21]: a
Out[21]: 
[SNDArray([125755456, 131767536,        13,        17,        17,        11]),
 Series([], name: val1, dtype: int64),
 0     10
4     16
8     13
9     17
17    17
19    11
Name: val1, dtype: int64]

我不知道SNDArray到底是什么......

Python Pandas：使用Aggregate与Apply来定义新列

1 个答案: