计算熊猫数据框中的均值和标准差

时间:2021-03-04 17:17:17

标签: python pandas jupyter-notebook mean standard-deviation

我有以下数据框:

    COD     CHM     DATE
0   5713    0.0     2020-07-16
1   5713    1.0     2020-08-11
2   5713    2.0     2020-06-20
3   5713    3.0     2020-06-19
4   5713    4.0     2020-06-01
... ... ... ...
2135283 73306036    0.0     2020-09-30
2135284 73306055    12.0    2020-09-30
2135285 73306479    9.0     2020-09-30
2135286 73306656    3.0     2020-09-30
2135287 73306676    1.0     2020-09-30

我想计算整个日期(时间)中每个 COD 的平均值和标准差。 为此,我正在做:

    traf_user_chm_med =traf_user_chm_med.groupby(['COD', 'DATE'])['CHM'].sum().reset_index()
dates = pd.date_range(start=traf_user_chm_med.DATE.min(), end=traf_user_chm_med.DATE.max(), freq='MS', closed='left').sort_values(ascending=False)
clients = traf_user_chm_med['COD'].unique()
idx = pd.MultiIndex.from_product((clients, dates), names=['COD', 'DATE'])
M0 = pd.to_datetime('2020-08')
M1 = M0-pd.DateOffset(month=M0.month-1)
M2 = M0-pd.DateOffset(month=M0.month-2)
M3 = M0-pd.DateOffset(month=M0.month-3)
M4 = M0-pd.DateOffset(month=M0.month-4)
M5 = M0-pd.DateOffset(month=M0.month-5)
def filter_dates(grp):
    grp.set_index('YEAR_MONTH', inplace=True)
    grp=grp[M0:M5].reset_index()
    return grp
traf_user_chm_med = traf_user_chm_med.groupby('COD').apply(filter_dates)

不知道为什么它不起作用,它返回一个空的数据框。 在此之后,我将拆开堆栈以获得几个月内的活动并计算每个 COD 的平均值和标准偏差。 这是一个漫长的过程,不确定是否有更快的方法来获得我想要的值。 不过,如果有人能帮我让这个工作起来,那就太棒了!

3 个答案:

答案 0 :(得分:0)

如果我理解正确的话,你只是需要这个:

df.groupby("COD")["CHM"].agg("std")

作为一般原则,几乎总是有一种“pythonic”的方式来做这些事情,行数更少且易于理解!

答案 1 :(得分:0)

df['mean'] = df.groupby('DATE')['COD'].transform('mean')

答案 2 :(得分:0)

您可以使用 transform 来广播您的平均值和标准

...
df['mean'] = df.groupby('DATE')['COD'].transform('mean')
df['std'] = df.groupby('DATE')['COD'].transform('std')