Question

我在一个熊猫数据帧上有一个时间序列，该数据帧与月份连续。我叫df1。然后我通过group_by得到月平均值，我将df2称为结果数据帧。现在，我想不使用循环就减去每列的每月平均值。也就是说，需要从df1中“ month” == 1的所有行中减去df2中的“ month == 1”行。

在numpy中，我将重塑矩阵，执行操作（由于numpy广播），然后再次重塑它。但是我不知道什么是全神贯注的方式。尽管我觉得应该是一种超级简单的方法。

这里是一个示例，其中我以超低效的方式使用double for循环来执行此操作。

import pandas as pd

df1 = pd.DataFrame({'month': [1, 1, 1, 2, 2, 3, 3, 3, 4, 4],
                   'value': [51, 16, 17, 25, 28, 37, 39, 73, 84, 56],
                    'value2': [551, 165, 175, 255, 258, 375, 359, 735, 854, 556]})


df2 = df1.groupby(["month"]).mean()
df2["month"] = [1,2,3,4]

for mon in range(1, 5):
    for val in ["value", "value2"]:
        mon_mean = float(df2.loc["month"] == mon, [val])
        df1.loc[df1["month"] == mon, [val]] = df1.loc[df1["month"] == mon, [val]].apply(lambda x: x- mon_mean)

欢迎您使用任何线索或熊猫函数。

编辑：

您将如何做，如果不是将df2减去df1，而是第三个数据帧，即具有比df1多的行的df3。因此，扩展前面的示例：

import pandas as pd

df1 = pd.DataFrame({'month': [1, 1, 2, 2, 3, 3, 4, 4],
                    'value': [51, 16, 17, 25, 28, 37, 39, 73],
                    'value2': [551, 165, 175, 255, 258, 375, 359, 735, ]})

df3 = pd.DataFrame({'month': [1, 1, 1, 2, 2, 3, 3, 3, 4, 4],
                    'value': [43, 32, 54, 54, 54, 35, 76, 65, 35, 74],
                    'value2': [745, 346, 175, 889, 543, 876, 345, 876, 345, 987]})

df2 = df1.groupby(["month"]).mean()
df2["month"] = [1, 2, 3, 4]

for mon in range(1, 5):
    for val in ["value", "value2"]:
        mon_mean = float(df2[df2["month"] == mon][val])
        print(mon_mean)
        df3.loc[df3["month"] == mon, [val]] = df3.loc[df3["month"] == mon, [val]].apply(lambda x: x - mon_mean)
print(df3)
month  value  value2
0      1    9.5   387.0
1      1   -1.5   -12.0
2      1   20.5  -183.0
3      2   33.0   674.0
4      2   33.0   328.0
5      3    2.5   559.5
6      3   43.5    28.5
7      3   32.5   559.5
8      4  -21.0  -202.0
9      4   18.0   440.0

Answer 1

将GroupBy.transform用于由汇总值填充的新DataFrame，因此可以通过DataFrame.sub仅减去列表c中已过滤的列：

c = ["value", "value2"]
df1[c] = df1[c].sub(df1.groupby(["month"])[c].transform('mean'))
print (df1)
   month      value      value2
0      1  23.000000  254.000000
1      1 -12.000000 -132.000000
2      1 -11.000000 -122.000000
3      2  -1.500000   -1.500000
4      2   1.500000    1.500000
5      3 -12.666667 -114.666667
6      3 -10.666667 -130.666667
7      3  23.333333  245.333333
8      4  14.000000  149.000000
9      4 -14.000000 -149.000000

详细信息：

print (df1.groupby(["month"])[c].transform('mean'))
       value      value2
0  28.000000  297.000000
1  28.000000  297.000000
2  28.000000  297.000000
3  26.500000  256.500000
4  26.500000  256.500000
5  49.666667  489.666667
6  49.666667  489.666667
7  49.666667  489.666667
8  70.000000  705.000000
9  70.000000  705.000000

编辑：对于另一个DataFrame中的减法，使用month由DataFrame.set_index转换为索引，以按月匹配数据：

c = ["value", "value2"]
df2 =  df1.groupby(["month"])[c].mean()

df3 = df3.set_index('month')[c].sub(df2).reset_index()
print (df3)
   month  value  value2
0      1    9.5   387.0
1      1   -1.5   -12.0
2      1   20.5  -183.0
3      2   33.0   674.0
4      2   33.0   328.0
5      3    2.5   559.5
6      3   43.5    28.5
7      3   32.5   559.5
8      4  -21.0  -202.0
9      4   18.0   440.0

按列值减去熊猫

1 个答案: