基于另一列组的平均值

Question

我有一个数据框（2000行，5列）：

    year  month  day  GroupBy_Day  
0   2013     11    6            3 
1   2013     11    7           10  
2   2013     11    8            4  
3   2013     11    9            4 
4   2013     11   10            4 
...
24  2013     12    1            5
25  2013     12    2            4
26  2013     12    3            5
27  2013     12    4            2
28  2013     12    5            7
29  2013     12    6            1

我已经对元素进行了分组并得到了每天的计数（列GroupBy_Day）。我需要按天获得平均值（例如，对于所有第6天，我们的平均值为（3 + 1）/ 2 = 2次出现），并在新列中将此值减去GroupBy_Day。