如何在熊猫中分组和聚合不同的数据框

时间:2020-09-28 04:10:12

标签: python pandas

df1

A B
a 1
a 1
a 4
b 1 
b 3

df2

A B
a 1
a 2
c 3 
c 5

df1.groupby("A").size()

a 3
b 2

df2.groupby("A").size()

a 2
c 2

我想关注size聚合

   df1 df2
a  3    2
b  2    0 
c  0    2  

有什么办法可以做到这一点? 我想知道汇总方法。

如果有人有意见,请告诉我。 谢谢

6 个答案:

答案 0 :(得分:3)

  1. 您可以在两个分组的数据帧上使用pd.concat并传递axis=1(这是outerpd.merge的联接,但语法更加简洁) 。
  2. 然后,只需使用.fillna(0)做一些清理,用.rename()根据需要重命名列,然后使用.astype(int)使列数据类型为整数:

df3 = (pd.concat([df1.groupby("A").size(), df2.groupby("A").size()], axis=1)
      .fillna(0).rename({0 : 'df1', 1 : 'df2'}, axis=1).astype(int))
df3
Out[1]: 
   df1  df2
a    3    2
b    2    0
c    0    2

答案 1 :(得分:1)

如果您在熊猫中工作,我会进行外部联接。

data = [['a','a','a','b','b'],[1,1,4,1,3]]
df1 = pd.DataFrame(data).T
df1.columns = ['A','B']

data = [['a','a','c','c'],[1,2,3,5]]
df2 = pd.DataFrame(data).T
df2.columns = ['A','B']

temp1 = pd.DataFrame(df1.groupby("A").size())
temp2 = pd.DataFrame(df2.groupby("A").size())

df = temp1.merge(temp2,how='outer',left_index=True,right_index=True)
df.fillna(0)

输出

0_x 0_y
A       
a   3.0 2.0
b   2.0 0.0
c   0.0 2.0

答案 2 :(得分:1)

concat中可以将参数keys用于新的列名,因为使用Series,然后替换缺少的值并转换为整数:

df3 = (pd.concat([df1.groupby("A").size(), 
                  df2.groupby("A").size()], axis=1, keys=['df1','df2'])
         .fillna(0)
         .astype(int))
print (df3)
   df1  df2
a    3    2
b    2    0
c    0    2

另一个想法是,首先使用concat,按DataFrame.reset_indexMultiIndex转换为列,因此可以使用DataFrame.pivot_table,最后使用DataFrame.rename_axis

df3 = (pd.concat([df1, df2], keys=['df1','df2'])
         .reset_index()
         .pivot_table(index='A', columns='level_0', aggfunc='size', fill_value=0)
         .rename_axis(columns=None, index=None)
       )
print (df3)
   df1  df2
a    3    2
b    2    0
c    0    2

答案 3 :(得分:0)

您可以执行以下操作:

In [883]: df1 = df1.groupby("A").size().reset_index()

In [884]: df2 = df2.groupby("A").size().reset_index()

In [886]: df1.merge(df2, on='A', how='outer').fillna(0).rename(columns={'0_x': 'df1', '0_y':'df2'}).set_index('A')
Out[886]: 
   df1  df2
A          
a  3.0  2.0
b  2.0  0.0
c  0.0  2.0

答案 4 :(得分:0)

 #groupby using agg to rename axis.
   g=df1.groupby("A", as_index=False)['B'].agg({'df1':'size'})
    h=df2.groupby("A", as_index=False)['B'].agg({'df2':'size'})

#concat the resultant datframe, fffiil, bfill and dro duplicates

(pd.concat([g,h], ignore_index=True).sort_values(by='A').ffill().bfill()).drop_duplicates()



  A  df1  df2
0  a  3.0  2.0
1  b  2.0  2.0
3  c  2.0  2.0

答案 5 :(得分:0)

@David的答案的一种变体:

frames = {"df1": df1, "df2": df2}

pd.concat(
    {key: value.groupby("A").size() for key, value in frames.items()}, axis=1
).fillna(0)