Pandas从数据框中删除带有条件的重复项

时间:2018-05-30 22:47:20

标签: python pandas dataframe

考虑以下数据框:

df = pd.DataFrame({
    'case_id': [1050, 1050, 1050, 1050, 1051, 1051, 1051, 1051],
    'elm_id': [101, 102, 101, 102, 101, 102, 101, 102],
    'cid': [1, 1, 2, 2, 1, 1, 2, 2],
    'fx': [736.1, 16.5, 98.8, 158.5, 272.5, 750.0, 333.4, 104.2],
    'fy': [992.0, 261.3, 798.3, 452.0, 535.9, 838.8, 526.7, 119.4],
    'fz': [428.4, 611.0, 948.3, 523.9, 880.9, 340.3, 890.7, 422.1]})

打印时看起来像这样:

--- case_id cid elm_id fx fy fz 0 1050 1 101 736.1 992.0 428.4 1 1050 1 102 16.5 261.3 611.0 2 1050 2 101 98.8 798.3 948.3 3 1050 2 102 158.5 452.0 523.9 4 1051 1 101 272.5 535.9 880.9 5 1051 1 102 750.0 838.8 340.3 6 1051 2 101 333.4 526.7 890.7 7 1051 2 102 104.2 119.4 422.1

我需要删除以下两列subcaseelm_id中存在重复值的行,并保留具有最高cid的行。数据应如下所示:

--- case_id cid elm_id fx fy fz 0 1050 2 101 98.8 798.3 948.3 1 1050 2 102 158.5 452.0 523.9 2 1051 2 101 333.4 526.7 890.7 3 1051 2 102 104.2 119.4 422.1

我是熊猫新手。查看其他类似问题,我尝试使用.groupby()max(),如下所示:df2 = df.groupby(['case_id', 'elm_id']).max()['cid'].reset_index()。但是我丢失了列fxfyfz。我觉得我很接近,我只是不知道下一步该往下看。

2 个答案:

答案 0 :(得分:1)

您需要sort_values + drop_duplicates

df.sort_values('cid', ascending=False).drop_duplicates(['case_id', 'elm_id'])

   case_id  cid  elm_id     fx     fy     fz
2     1050    2     101   98.8  798.3  948.3
3     1050    2     102  158.5  452.0  523.9
6     1051    2     101  333.4  526.7  890.7
7     1051    2     102  104.2  119.4  422.1

答案 1 :(得分:0)

另一种方法:

df[(df.duplicated(subset=['subcase','elm_id']))&(df['cid']>1)]

   case_id  cid  elm_id     fx     fy     fz
2     1050    2     101   98.8  798.3  948.3
3     1050    2     102  158.5  452.0  523.9
6     1051    2     101  333.4  526.7  890.7
7     1051    2     102  104.2  119.4  422.1