Question

我有一个数据框。对于前两列中所有可能的值组合，我想删除那些行数小于100的行。

例如，有5行，在第一列中我们在第二列中有“A”和“B”。我想从数据框中删除所有这些行。有110行，其中第一行和第二行分别包含“C”和“D”。这些行我不想删除，因为110＆gt; 5。

最优雅，最快速的方法是什么？

这是我目前的解决方案：

gr = df.groupby(['L_ID', 'P_ID'])
for group in gr.groups:
    df_tmp = gr.get_group(group)
    n_vals = len(df_tmp)
    if n_vals < min_n:
        df = df[(df['L_ID'] != group[0]) | (df['P_ID'] != group[1])]

Answer 1

您可以使用filter()方法：

# test data
>>> df1 = pd.DataFrame({'a':list('AAABB'), 'b':list('BBBAA'), 'c':range(5)})
>>> df1
   a  b  c
0  A  B  0
1  A  B  1
2  A  B  2
3  B  A  3
4  B  A  4

>>> df1.groupby(['a','b']).filter(lambda x: len(x) > 2)
   a  b  c
0  A  B  0
1  A  B  1
2  A  B  2

更新

当有更多列时，看起来此方法无效：

>>> df1 = pd.DataFrame({'a':list('AAABB'), 'b':list('BBBAA'), 'c':range(5), 'd':range(5)})
>>> df1
   a  b  c  d
0  A  B  0  0
1  A  B  1  1
2  A  B  2  2
3  B  A  3  3
4  B  A  4  4
>>> df1.groupby(['a','b']).filter(lambda x: len(x) > 2)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Python27\lib\site-packages\pandas\core\groupby.py", line 2094, in filter
    if res:
ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all()

这是一个解决方案：

>>> df1.groupby(['a','b']).filter(lambda x: len(x['c']) > 2)
   a  b  c  d
0  A  B  0  0
1  A  B  1  1
2  A  B  2  2

您还可以使用transform()：

>>> df1[df1.groupby(['a','b'])['c'].transform(lambda x: len(x) > 2).astype(bool)]
   a  b  c  d
0  A  B  0  0
1  A  B  1  1
2  A  B  2  2

如何从pandas数据帧中删除少数行？

1 个答案:

更新