Pandas:如果组中的最后一个值满足所需条件,则从数据框中删除组

时间:2018-01-10 16:33:12

标签: python pandas filter conditional apply

类似的问题发现here但是我无法解决的一点点扭曲,以及我不断得到的错误。代码是否可以查看组中的最后一项,并且根据条件是否退出,它将丢弃整个组? 条件是:如果最后一行的“状态”介于30和39之间,则删除整个组。

我使用了类似的方法,使用apply()和filter()在上面的链接中找到。 当我使用apply方法时,此代码只删除具有该条件但不包含完整组的行:

df.groupby('Sort_Key').apply(lambda x: x[~x['Status'].between(30,39,inclusive=True)])

但是当我使用过滤方法时,如上面的链接所示,我收到错误

df.groupby('Sort_Key').filter(lambda x: x[~x['Status'].between(30,39,inclusive=True)])

TypeError: filter function returned a Series, but expected a scalar bool

首先,我的过滤器方法出了什么问题?这是解决这个问题的最佳方法吗?

第二。有没有办法将条件基于该系列的最后一行。

数据集:

df = pd.DataFrame({'Sort_Key': ['100000003', '100000009', '100000009', '100000009', '100000034','100000034', '100000034', '100000048'], 
               'Claim_no': [40000, 50000, 42000, 50000, 42000, 50000, 42000, 5000],
              'Discharge': [456435, 50345345, 4345435,345756,34557,6867456,345435,346546],
              'Admit': [678678, 67867867, 678678,678679,8989,67867,89697,9678678],
              'Status': [12, 12, 52,30,30,18,19,30]})

原始数据框:

                     Admit      Claim_no    Discharge   Sort_Key    Status
Sort_Key                        
100000003   0       678678      40000       456435      100000003   12
100000009   1       67867867    50000       50345345    100000009   12
            2       678678      42000       4345435     100000009   52
            3       678679      50000       345756      100000009   30
100000034   4       8989        42000       34557       100000034   30
            5       67867       50000       6867456     100000034   18
            6       89697       42000       345435      100000034   19
100000048   7       9678678     5000        346546      100000048   30

最终数据框:

                     Admit      Claim_no    Discharge   Sort_Key    Status
Sort_Key                        
100000003   0       678678      40000       456435      100000003   12
100000034   4       8989        42000       34557       100000034   30
            5       67867       50000       6867456     100000034   18
            6       89697       42000       345435      100000034   19

2 个答案:

答案 0 :(得分:3)

修复您的代码

df.groupby('Sort_Key').filter(lambda x: ~pd.Series(x['Status'].iloc[-1]).between(30,39,inclusive=True).any())
Out[325]: 
    Admit  Claim_no  Discharge   Sort_Key  Status
0  678678     40000     456435  100000003      12
4    8989     42000      34557  100000034      30
5   67867     50000    6867456  100000034      18
6   89697     42000     345435  100000034      19

我会做什么

s=df.groupby('Sort_Key').Status.last()
df.loc[~df.Sort_Key.isin(s[s!=30].index)]
Out[333]: 
      Admit  Claim_no  Discharge   Sort_Key  Status
1  67867867     50000   50345345  100000009      12
2    678678     42000    4345435  100000009      52
3    678679     50000     345756  100000009      30
7   9678678      5000     346546  100000048      30

答案 1 :(得分:0)

我这样做:

In [25]: df[df.groupby('Sort_Key')['Status']
              .transform(lambda x: not x.tail(1).between(30,39).any())]
Out[25]:
    Admit  Claim_no  Discharge   Sort_Key  Status
0  678678     40000     456435  100000003      12
4    8989     42000      34557  100000034      30
5   67867     50000    6867456  100000034      18
6   89697     42000     345435  100000034      19