将小计添加到Pandas Groupby

Question

我正在寻找一种更简洁的方法来为Pandas groupby添加小计。

这是我的DataFrame：

df = pd.DataFrame({
'Category':np.random.choice( ['Group A','Group B'], 50),
'Sub-Category':np.random.choice( ['X','Y'], 50),
'Product':np.random.choice( ['Product 1','Product 2'], 50),
'Units_Sold':np.random.randint(1,100, size=(50)),
'Dollars_Sold':np.random.randint(100,1000, size=50),
'Date':np.random.choice( pd.date_range('1/1/2011','03/31/2011',  
                      freq='D'), 50, replace=False)})

从那里开始，我创建了一个新的Groupby Dataframe：

df1 = df.groupby(['Category','Sub-Category','Product',pd.TimeGrouper(key='Date',freq='M')]).agg({'Units_Sold':'sum','Dollars_Sold':'sum'}).unstack().fillna(0)

我想提供分类和分类的小计。子类别。我可以使用以下代码执行此操作：

df2 = df1.groupby(level=[0,1]).sum()
df2.index = pd.MultiIndex.from_arrays([df2.index.get_level_values(0),
                                   df2.index.get_level_values(1) + ' Total',
                                   len(df2) * ['']])
df3 = df1.groupby(level=[0]).sum()
df3.index = pd.MultiIndex.from_arrays([df3.index.get_level_values(0) + ' Total',
                                   len(df3) * [''],
                                   len(df3) * ['']])
pd.concat([df1,df2,df3]).sort_index()

这给了我想要的DataFrame： Final DataFrame

我的问题 - 是否有更多的pythonic方法来做到这一点，而不是必须为每个级别创建一个新的DataFrame然后连接在一起？我研究了这个，但找不到更好的方法。我必须为许多不同的MultiIndex数据帧＆amp;我正在寻求更好的解决方案。

提前感谢您的帮助！

使用其他信息编辑：

感谢@Wen＆amp; @DaFanat的回复。我尝试使用我的数据[link]上提供的@Wen链接：Python (Pandas) Add subtotal on each lvl of multiindex dataframe

pd.concat([df.assign(\
    **{x: 'Total' for x in "CategorySub-CategoryProduct"[i:]}\
    ).groupby(list('abc')).sum() for i in range(1,4)])\
    .sort_index()

这总计总和，但它会忽略构成第二级列的日期。它让我得到了这个结果。Resulting Image

我尝试使用groupby添加TimeGrouper，但这会返回错误。任何帮助将不胜感激。谢谢！

Answer 1

通过将上面的尝试与@piRSquared中的示例对齐，我可以使您更加接近。

列表必须与MultiIndex相匹配。尝试以下方法：

iList = ['Category','Sub-Category','Product']
pd.concat([
    df1.assign(
        **{x: '' for x in iList[i:]}
    ).groupby(iList).sum() for i in range(1,4)
]).sort_index()

它没有在正确的位置显示“总计”一词，也不在每个组的底部显示总计，但是至少在功能上或多或少是正确的。我的总数不匹配，因为DataFrame中的值是随机的。

花了我一段时间才能解决Python (Pandas) Add subtotal on each lvl of multiindex dataframe中提供的原始答案。但是这里有同样的逻辑。

Assign（）将列中的值替换为在MultiIndex列列表的元素上执行的dict理解所返回的dict中的值。
然后groupby（）仅为那些非空白列找到唯一的值，并对其求和。
这些groupby包含在列表推导中，因此pd.concat（）然后将这些行集组合在一起。
然后sort_index（）将索引标签按升序排列。
（是的，您仍然会收到有关“列名和索引级别”的警告，但它仍然有效。）