将分组的zscore列添加到pandas数据帧

时间:2016-09-09 23:58:50

标签: python-2.7 pandas dataframe

我可以在一个数据框中插入一个列,对另一列进行z分数,如下所示:

[1] df.insert(<loc>, column='ZofA', value=(df['A']-df['A'].mean())/df['A'].std())

我可以简单地减少按其他2列分组的列:

[2] df.groupby(['C1', 'C2'])['A'].mean()

我试图用[1]中的zscore函数替换[2]中的简单mean()函数,但是无法弄清楚如何做,包括使用.apply - 例如这失败了:

[3] df.groupby(['C1', 'C2']).apply((df['A']-df['A'].mean())/df['A'].std())

所以我的第一个问题是我显然不知道如何使用分组创建zscore列。

我的第二个问题是我要结合(1)将一个新列插入到一个数据帧('ZofA')中,该数据帧保存来自另一列('A')的z分数,其中(2)计算这些zscores在由另外两列('C1','C2')定义的组内。 (3)我想在一个df.insert()语句中做所有这些。我只是弄乱了括号和括号,什么不是,或者我是否想在一个声明中做太多事情?谢谢!

1 个答案:

答案 0 :(得分:8)

感谢指向文档的指针。对于任何好奇的人,我想我会发布解决方案。首先,将zscore计算放入lambda:

zscore = lambda x: (x - x.mean()) / x.std()

神奇的成分是.transform。只需编写如下的insert语句:

df.insert(<loc>, 'ZofA', df.groupby(['C1', 'C2'])['A'].transform(zscore))

解决方案确实在“Group By:split-apply-combine”文档中。您只需向下滚动到“转换”部分的中途。我忽略了有关日期键的内容,只是将我的分组列直接插入到groupby语句中。