使用groupby变换从特定行中减去值

时间:2019-09-08 09:05:53

标签: python pandas group-by transform

具有一个包含几个组的数据帧(列Id)。每个组中有几个级别(列Level)。所有组都有一个名为'Base'的级别。对于每个组,我想从所有其他级别的值中减去'Base'的值。

使用pandas.join并来回一点就能得到我想要的东西。

import pandas as pd

df = pd.DataFrame({'Id':['A', 'A', 'A', 'B', 'B', 'B'],
                   'Level':['Down', 'Base', 'Up', 'Base', 'Down', 'Up'],
                   'Value':[8, 10, 15, 6, 3, 8]
                   }).set_index('Id')

df = df.join(df[df['Level']=='Base']['Value'], rsuffix='_Base')
df['Delta'] = df['Value'] - df['Value_Base']
df.drop('Value_Base', inplace=True, axis=1)

#The input
df_in
Out[3]: 
   Level  Value
Id             
A   Down      8
A   Base     10
A     Up     15
B   Base      6
B   Down      3
B     Up      8

# The output after the above operation (and hopefully after a groupby.transform)
df_out
Out[4]: 
   Level  Value  Delta
Id                    
A   Down      8     -2
A   Base     10      0
A     Up     15      5
B   Base      6      0
B   Down      3     -3
B     Up      8      2

我想上述解决方案还不错,但是我希望使用groupbytransform可以达到相同的结果。我尝试过

df_in.groupby('Id').transform(lambda x : x['Value'] - x[x['Level']=='Base']['Value'])

但是没有用。有人可以告诉我我在做什么错吗?

2 个答案:

答案 0 :(得分:1)

没有变换,但我认为这很酷:

df['Delta']=df['Value']-df.pivot(columns='Level')['Value']['Base']

   Level  Value  Delta
Id                    
A   Down      8     -2
A   Base     10      0
A     Up     15      5
B   Base      6      0
B   Down      3     -3
B     Up      8      2

答案 1 :(得分:1)

如果确实需要transform,并且对于每个组始终Base,则创建一个MultiIndex,然后按xs进行选择:

df['Delta'] =df['Value'] - (df.set_index('Level', append=True)
                              .groupby(level=0)['Value']
                              .transform(lambda x:  x.xs('Base', level=1)[0])
                              .values)
print (df)
   Level  Value  Delta
Id                    
A   Down      8     -2
A   Base     10      0
A     Up     15      5
B   Base      6      0
B   Down      3     -3
B     Up      8      2

如果组中不存在某些Base,类似的解决方案也可以工作:

f = lambda x:  next(iter(x.xs('Base', level=1)), np.nan)
df = df.set_index('Level', append=True)
df['Delta']  = df['Value'] - df.groupby(level=0)['Value'].transform(f)
df = df.reset_index(level=1)                           
print (df)
   Level  Value  Delta
Id                    
A   Down      8     -2
A   Base     10      0
A     Up     15      5
B   Base      6      0
B   Down      3     -3
B     Up      8      2

更好的解决方案是:

df['Delta'] = df['Value'] - df.index.map(df.loc[df['Level'].eq('Base'), 'Value'])
print (df)
   Level  Value  Delta
Id                    
A   Down      8     -2
A   Base     10      0
A     Up     15      5
B   Base      6      0
B   Down      3     -3
B     Up      8      2