Question

我有一个数据框，其中包含两列（A和B）的重复值：

我想删除重复项，使行中的行保持最大值。这将导致：

我无法弄清楚如何做到这一点。我应该使用drop_duplicates()吗？

Answer 1

您可以使用group by：

来完成

c_maxes = df.groupby(['A', 'B']).C.transform(max)
df = df.loc[df.C == c_maxes]

c_maxes是每个组中Series的最大值的C，但其长度相同且索引与df相同。如果您还没有使用.transform，那么打印c_maxes可能是一个好主意，看看它是如何工作的。

使用drop_duplicates的另一种方法是

df.sort('C').drop_duplicates(subset=['A', 'B'], take_last=True)

不确定哪个更有效但我想第一种方法，因为它不涉及排序。

修改从pandas 0.18起，第二个解决方案将是

df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')

或者，

df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'])

无论如何，groupby解决方案似乎表现得更好：

%timeit -n 10 df.loc[df.groupby(['A', 'B']).C.max == df.C] 10 loops, best of 3: 25.7 ms per loop %timeit -n 10 df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last') 10 loops, best of 3: 101 ms per loop

Answer 2

我认为groupby应该有用。

df.groupby(['A', 'B']).max()['C']

如果需要数据帧，可以链接重置索引调用。

df.groupby(['A', 'B']).max()['C'].reset_index()

Answer 3

您只需使用pandas drop duplicates function

即可

public void SampleMethod(FooBarObject fooBarObject) {
    try { 
        fooBarObject.Name = "Never forget a towel";
        fooBarObject.Number = 42;
    }
    catch (NullReferenceException){}
}

Answer 4

您可以根据需要使用drop_duplicates

# initialisation
d = pd.DataFrame({'A' : [1,1,2,3,3], 'B' : [2,2,7,4,4],  'C' : [1,4,1,0,8]})

d = d.sort_values("C", ascending=False)
d = d.drop_duplicates(["A","B"])

如果获得相同的订单很重要

d = d.sort_index()

Python（pandas）：基于两列删除重复项，使另一列中的行保持最大值

4 个答案: