根据多个条件过滤行

时间:2019-11-08 08:36:28

标签: python pandas

我有以下数据框:

name        date_one        date_two
-----------------------------------------
sue
sue
john    
john        13-06-2019
sally       23-04-2019
sally       23-04-2019      25-04-2019
bob         18-05-2019      14-06-2019
bob         18-05-2019      17-06-2019

数据包含重复的name行。我需要根据以下内容(按优先级顺序)过滤数据:

  1. 对于每个name,请在行中保留最新的date_two。如果name没有任何行具有date_two的值,请转到步骤2
  2. 对于每个name,请在行中保留最新的date_one。如果name没有任何行具有date_one的值,请转到步骤3
  3. 这些names没有包含date_onedate_two的行,因此只需保留该name的第一行

上述数据框将被过滤为:

name        date_one        date_two
-----------------------------------------
sue
john        13-06-2019
sally       23-04-2019      25-04-2019
bob         18-05-2019      17-06-2019

这不需要以最高效的方式完成。数据帧只有几千行,只需要执行一次。如果需要分多个步骤进行,则可以。

1 个答案:

答案 0 :(得分:1)

每组对每个行使用DataFrameGroupBy.idxmax,然后按Series.isin过滤出已匹配的值,最后按concat过滤出值:

df['date_one'] = pd.to_datetime(df['date_one'], dayfirst=True)
df['date_two'] = pd.to_datetime(df['date_two'], dayfirst=True)

#rule1
df1 = df.loc[df.groupby('name')['date_two'].idxmax().dropna()]

#rule2
df2 = df.loc[df.groupby('name')['date_one'].idxmax().dropna()]
df2 = df2[~df2['name'].isin(df1['name'])]

#rule3
df3 = df[~df['name'].isin(df1['name'].append(df2['name']))].drop_duplicates('name')

df = pd.concat([df1, df2, df3]).sort_index()
print (df)
    name   date_one   date_two
0    sue        NaT        NaT
3   john 2019-06-13        NaT
5  sally 2019-04-23 2019-04-25
7    bob 2019-05-18 2019-06-17