Pandas Dataframe Groupby多列然后总和

时间:2015-09-02 21:06:12

标签: python arrays pandas aggregate-functions

为每个Python代码假设以下内容:

import pandas as pd
import numpy as np

在Pandas中,如果我有一个2列的数据帧,其中一列是数字数组,我可以将数组的值相加以获得单个数组。

df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar'], 'numbers' : [np.array([1, 2, 3, 4]),np.array([2, 4, 2, 4]),np.array([2, 3, 4, 5]),np.array([1, 3, 5, 7])]} )
df['arrays'].sum()

我甚至可以按第一列分组,然后对第二列求和以获得每个组的总和:

grpA = df.groupby('A')
grpA.sum()

但是,如果我在阵列列之外还有其他多列,比如说其他2列,那么在尝试按前两列进行分组并对数组列求和时,我得到ValueError: Function does not reduce

df2 = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar'],'B': ['la', 'la', 'al', 'al'],'numbers' : [np.array([1, 2, 3, 4]),np.array([2, 4, 2, 4]),np.array([2, 3, 4, 5]),np.array([1, 3, 5, 7])]} )
grpAB = df2.groupby(['A','B'])
grpAB.sum()

在SQL中,如果我可以对数组求和,以下内容将起作用:

select A, B, sum(numbers)
    from df2
    group by A, B

有没有办法成功分组多个列并对Pandas中的最后一个数组列求和?

3 个答案:

答案 0 :(得分:1)

您可以使用lambda表达式。 iat表达式采用Series中第一个元素的标量值(这里只是数字列表),然后对结果求和。

>>> df2.groupby(['A', 'B']).numbers.apply(lambda x: x.iat[0].sum())

A    B 
bar  al    16
     la    12
foo  al    14
     la    10
Name: numbers, dtype: int64

答案 1 :(得分:0)

可能的解决方案是

df2 = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar'],'B': ['la', 'la', 'al', 'al'],'numbers' : [np.array([1, 2, 3, 4]),np.array([2, 4, 2, 4]),np.array([2, 3, 4, 5]),np.array([1, 3, 5, 7])]} )

grouped = df2.groupby(['A','B'])

#set up empty arrays to append data from below loop
array=[]
index=[]

#loop through the grouped data and sum up the array numbers 
for i,j in grouped:
    array.append({'numbers':j.numbers.sum()})
    index.append(i)

#put summed array back into a dataframe 
print pd.DataFrame((array),index=index)  

答案 2 :(得分:0)

df2 = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar'],'B': ['la', 'la', 'al', 'al'],'numbers' : [np.array([1, 2, 3, 4]),np.array([2, 4, 2, 4]),np.array([2, 3, 4, 5]),np.array([1, 3, 5, 7])]} )


Out[42]:
     A   B    numbers
0   foo la  [1, 2, 3, 4]
1   bar la  [2, 4, 2, 4]
2   foo al  [2, 3, 4, 5]
3   bar al  [1, 3, 5, 7]

grpAB = df2.groupby(['A','B'])
res = grpAB.apply(lambda x : x.numbers.sum())


Out[43]:
A    B 
bar  al    [1, 3, 5, 7]
     la    [2, 4, 2, 4]
foo  al    [2, 3, 4, 5]
     la    [1, 2, 3, 4]
dtype: object

pd.DataFrame(res , columns = ['numbers'])


Out[44]:
numbers
A   B   
bar al  [1, 3, 5, 7]
    la  [2, 4, 2, 4]
foo al  [2, 3, 4, 5]
    la  [1, 2, 3, 4]
# if you want to reset the index
pd.DataFrame(res , columns = ['numbers']).reset_index()


Out[45]:
     A  B   numbers
0   bar al  [1, 3, 5, 7]
1   bar la  [2, 4, 2, 4]
2   foo al  [2, 3, 4, 5]
3   foo la  [1, 2, 3, 4]