Question

我有以下MultiIndex DataFrame，我想知道是否有办法在二级索引上应用不同的函数。

import pandas as pd
# Creation
df1 = pd.DataFrame([[1,2,1],[4,5,1],[4,5,2]], columns=["M1","M2","month"])
df1['var']="v1"
df2 = pd.DataFrame([[1.5,2.5,1],[4.5,5.5,1],[1.5,1.5,2]], columns=["M1","M2","month"])
df2['var']="v2"
df_all = pd.concat([df1,df2],join='outer')

# Final DataFrame
df_all_idx = df_all.set_index(["month","var"],inplace=False)
df_all_idx.sort_index(level=[0])

                M1  M2
month    var        
1        v1     1.0 2.0
         v1     4.0 5.0
         v2     1.5 2.5
         v2     4.5 5.5
2        v1     4.0 5.0
         v2     1.5 1.5

使用groupby，我可以获得：

df_grp = df_all_idx.groupby(by=["month","var"]).sum()

                M1  M2
month   var     
1       v1      5.0 7.0
        v2      6.0 8.0
2       v1      4.0 5.0
        v2      1.5 1.5

例如，我需要将sum（）应用于v1值，将自定义函数应用于v2值。

由于

Answer 1

我喜欢词典。因此，我会将您的聚合函数存储在字典中，并根据每个组的名称进行查找。

import numpy
import pandas

aggregators = {
    'v2': numpy.min
}


df1 = pandas.DataFrame(
    [[1, 2, 1],[4, 5, 1],[4, 5, 2]],
    columns=["M1", "M2", "month"]
).assign(var='v1')

df2 = pandas.DataFrame(
    [[1.5,2.5,1], [4.5,5.5,1], [1.5,1.5,2]],
    columns=["M1", "M2", "month"]
).assign(var='v2')

df = (
    pandas.concat([df1, df2], join='outer')
        .groupby(by=['month', 'var'])
        .apply(lambda g: aggregators.get(g.name[-1], numpy.sum)(g))
        [['M1', 'M2']]
)

那就是：

            M1   M2
month var          
1     v1   5.0  7.0
      v2   1.5  2.5
2     v1   4.0  5.0
      v2   1.5  1.5

这一行：.apply(lambda g: aggregators.get(g.name[-1], numpy.sum)(g))有点复杂。这是它的作用：

.apply循环遍历所有组并通过lambda
每个组都有一个name属性，即分组列的值
g.name[-1]是最后一个元素（v1，v2）
aggregators.get(g.name[-1], numpy.sum)查找要使用的函数，但如果找不到函数，则默认为numpy.sum
然后我们将小组传递给我们查找的函数

Answer 2

这样的事情会起作用吗？

df_all_idx.xs('v1', level=1).sum(axis=1)
df_all_idx.xs('v2', level=1).apply(some_function, axis=1)

Answer 3

根据拆分，申请和结束的建议，我提出了这个解决方案：

def myfunc(x):
    return np.mean(x)

p1 = df_all_idx.loc[(slice(None), 'v1'), :].groupby(by=["month","var"]).sum()    
p2 = df_all_idx.loc[(slice(None), 'v2'), :].groupby(by=["month","var"]).agg(myfunc)

pd.concat([p1,p2], join='outer').sort_index(level=[0])

按我的意愿返回结果：

                 M1     M2
 month  var     
 1       v1      5.0    7.0
         v2      3.0    4.0
 2       v1      4.0    5.0
         v2      1.5    1.5

我认为这是这种情况下的最佳做法。

Groupand在Pandas的指数级别

3 个答案: