Question

是否有一种方法可以根据熊猫数据帧（.groupby）中的实例数量进行有效过滤，并计算所述过滤后的组的平均值？

让我以这个示例数据框为例。 t_users和c_users已配对，并有配对的月份和年份，以及计算所得的列。

x = [
[ 1000   , 4756   , 6  , 2017 , 0.36 ],
[1000   , 2357   , 6  , 2017 , 0.42 ],
[ 1000   , 2400   , 6  , 2017 , 0.76 ],
[ 1000   , 2400   , 6  , 2017 , 1.11 ],
[ 1000   , 2400   , 6  , 2017 , 0.27 ],
[ 1000   , 2400   , 6  , 2017 , 1.57 ],
[ 2399   , 9531   , 6  , 2017 , 0.57 ],
[ 3999   , 8532   , 6  , 2017 , 0.27 ],
[ 3999   , 2138   , 6  , 2017 , 1.76] ,
[ 1039   , 4215   , 6  , 2017 , 0.26]
]

df = pd.DataFrame(x, columns=['t_user','c_user','mo','yr','tval'])


|    | t_user | c_user | mo | yr   | tval |
|----|--------|--------|----|------|------|
| 0  | 1000   | 4756   | 6  | 2017 | 0.36 |
| 1  | 1000   | 2357   | 6  | 2017 | 0.42 |
| 2  | 1000   | 2400   | 6  | 2017 | 0.76 |
| 3  | 1000   | 2400   | 6  | 2017 | 1.11 |
| 4  | 1000   | 2400   | 6  | 2017 | 0.27 |
| 6  | 1000   | 2400   | 6  | 2017 | 1.57 |
| 7  | 2399   | 9531   | 6  | 2017 | 0.57 |
| 8  | 3999   | 8532   | 6  | 2017 | 0.27 |
| 9  | 3999   | 2138   | 6  | 2017 | 1.76 |
| 10 | 1039   | 4215   | 6  | 2017 | 0.26 |

在此示例中，我希望将出现4次的所有用户对分组。只有一对满足此要求（索引2-6，对应对1000和2400）。

我知道第一点很容易实现

df= df.groupby(['t_user', 'c_user', 'mo', 'yr']).size().reset_index(name='ct')
df = df[df['ct'] == 24].reset_index()

同时，我希望在这4行中平均该对的tval列。我不需要任何其他数据。哪里发生的？

理想情况下，结果将应用于更大的数据集，返回满足数字要求的所有行，如下所示：

| t_user | c_user | mo | yr   | tval_avg |
|--------|--------|----|------|----------|
| 1000   | 2400   | 6  | 2017 |   0.93   |

我尝试了一个df.groupby().size()并与df.groupby.mean()一起加入，但是它很混乱并且不能正常工作。我想我可能在这里缺少一些简单的东西。

Answer 1

您应该能够使用groupby + transform来计算，过滤和应用平均值。

transform将保留原始结构（只是重复的值），因此您可以使用它来过滤相同的切片函数。

在以下示例中：

gpd = df[
    df.groupby(['t_user', 'c_user', 'mo', 'yr']).transform('count').values >= 4 #filter by greater than 3
].groupby(['t_user', 'c_user', 'mo', 'yr']).agg({'tval': 'mean'}).reset_index() ## aggregate result

gpd
Out[1]:
    t_user  c_user  mo  yr      tval
0   1000    2400    6   2017    0.9275

如何同时通过计数和平均组过滤熊猫DF？

1 个答案: