过滤至少有一行满足条件的GroupBy对象

时间:2018-08-24 05:43:11

标签: python pandas pandas-groupby

假设有这个test_df:

test_df = pd.DataFrame({'Category': ['P', 'P', 'P', 'Q', 'Q', "Q"],
                    'Subcategory' : ['A', 'B', 'C', 'C', 'A', 'B'],
                    'Value' : [2.0, 5., 8., 1., 2., 1.]})

这样做可以:

test_df.groupby(['Category', 'Subcategory'])['Value'].sum()
# Output is this
Category  Subcategory
P         A              2.0
          B              5.0
          C              8.0
Q         A              2.0
          B              1.0
          C              1.0

我要过滤子类别中至少一个值大于或等于3的类别,这意味着在当前的test_df中,Q将被排除在过滤器之外,因为其行均不大于或等于3 。但是,如果其中一行为5,则Q将保留在过滤器中。

我尝试使用以下内容,但是它过滤掉了类别'P'中的'A'子类别。

test_df_grouped = test_df.groupby(['Category', 'Subcategory'])

test_df_grouped.filter(lambda x: (x['Value'] > 2).any()).groupby(['Category', 'Subcategory'])['Value'].sum()

提前谢谢!

2 个答案:

答案 0 :(得分:3)

使用:

mask = (test_df['Category'].isin(test_df.loc[test_df['Value'] >= 3, 'Category'].unique())
a = test_df[mask]
print (a)
  Category Subcategory  Value
0        P           A    2.0
1        P           B    5.0
2        P           C    8.0

首先按条件获取所有Category值:

print (test_df.loc[test_df['Value'] >= 3, 'Category'])
1    P
2    P
Name: Category, dtype: object

为提高性能,请创建unique值,谢谢@Sandeep Kadapa:

print (test_df.loc[test_df['Value'] >= 3, 'Category'].unique())
['P']

然后按isin过滤原始列:

print (test_df['Category'].isin(test_df.loc[test_df['Value'] >= 3, 'Category'].unique()))
0     True
1     True
2     True
3    False
4    False
5    False
Name: Category, dtype: bool

MultiIndex之后用groupby过滤系列的相同解决方案:

s = test_df.groupby(['Category', 'Subcategory'])['Value'].sum()
print (s)
Category  Subcategory
P         A              2.0
          B              5.0
          C              8.0
Q         A              2.0
          B              1.0
          C              1.0
Name: Value, dtype: float64

idx0 = s.index.get_level_values(0)
a = s[idx0.isin(idx0[s >= 3].unique())]
print (a)
Category  Subcategory
P         A              2.0
          B              5.0
          C              8.0
Name: Value, dtype: float64

答案 1 :(得分:3)

使用loc

s = test_df.groupby(['Category', 'Subcategory'])['Value'].sum()
s.loc[s[s.ge(3)].index.get_level_values(0).unique()].reset_index()

  Category Subcategory  Value
0        P           A    2.0
1        P           B    5.0
2        P           C    8.0