我有一些我已经装箱的数据,然后按箱分组,用.count
计算每个箱子中的条目,并查询每箱的多个样本
import pandas as pd
import numpy as np
A = np.random.random(10000)
bins = np.arange(0, max(A), 0.03)
data_bins = pd.cut(A, bins = bins, precision = 100)
df = pd.DataFrame({"A": A,
"bin": data_bins})\
.sort_values(by = ["bin"])\
.reset_index(drop = True)\
.dropna()
print(df.head())
# For example, only take bins with more than 310 entries in each
valid_bins = df.groupby("bin")[["A"]].count().query("A > 310")
print(valid_bins)
现在我知道在我的大型数据集中使用valid_bins
查找哪些容器。现在,我如何仅在原始df
中找到这些箱子?
答案 0 :(得分:1)
我认为Series
需要transform
与原始DataFrame
的尺寸相同,因此可以按boolean indexing
过滤:
df1 = df[df.groupby("bin")["A"].transform('count') > 310]
或者使用filtration的更慢的解决方案:
df1 = df.groupby("bin").filter(lambda x: x["A"].count() > 310)
print(df1.head())
A bin
674 0.080059 (0.06, 0.09]
675 0.074179 (0.06, 0.09]
676 0.062529 (0.06, 0.09]
677 0.087312 (0.06, 0.09]
678 0.070065 (0.06, 0.09]