在Pandas数据框中添加汇总/汇总行

Question

假设我有一个如下数据框：

df = pd.DataFrame(np.array([[2018,'R1','C1',1],[2018,'R1','C2',2],[2018,'R1','C3',3],[2018,'R1','C4',4],[2018,'R1','C5',5],[2018,'R2','C6',6],[2018,'R2','C7',7],[2018,'R2','C8',8],[2018,'R2','C9',9],[2018,'R2','C10',10]]),columns=['Year', 'Region', 'Country', 'Spend'])

我想向每个可能的group by（groups）添加摘要行，以便输出数据框看起来像这样：

我已经学习了如何基于此StackOverflow post将摘要/总行添加为一列。但是我希望将这些总行合并到原始数据框中，如上面的屏幕快照所示，并且我希望以尽可能少的行来完成此操作（也就是说，避免了必须手动调用不同的groupby组合如下所示）：

df['ByYearTotalCount'] = df.groupby(['Year'])['Spend'].transform('sum')
df['ByYearByRegionTotalCount'] = df.groupby(['Year','Region'])['Spend'].transform('sum')

有人可以帮助我想出最好的类似pandas的方式来实现这一目标吗？预先感谢您的帮助！

Answer 1

使用groupby首先获取“总计/小计”行，然后concat使用结果数据帧

df2 = df.groupby(['Year'])['Spend'].sum().reset_index()
df3 = df.groupby(['Year', 'Region'])['Spend'].sum().reset_index()
df = pd.concat([df, df2, df3], sort=False).fillna('All').sort_values(by=['Region', 'Country'])

输出

df2
   Year  Spend
0  2018     55

df3
   Year Region  Spend
0  2018     R1     15
1  2018     R2     40

df
   Year Region Country  Spend
0  2018    All     All     55
0  2018     R1     All     15
0  2018     R1      C1      1
1  2018     R1      C2      2
2  2018     R1      C3      3
3  2018     R1      C4      4
4  2018     R1      C5      5
1  2018     R2     All     40
9  2018     R2     C10     10
5  2018     R2      C6      6
6  2018     R2      C7      7
7  2018     R2      C8      8
8  2018     R2      C9      9