Pandas：根据条件删除一些重复值

Question

我有一个数据集：

id    url     keep_if_dup
1     A.com   Yes
2     A.com   Yes
3     B.com   No
4     B.com   No
5     C.com   No

我想删除重复项，即首先出现“url”字段，但如果字段“keep_if_dup”为YES则保留重复项。

预期产出：

id    url     keep_if_dup
1     A.com   Yes
2     A.com   Yes
3     B.com   No
5     C.com   No

我尝试了什么：

Dataframe=Dataframe.drop_duplicates(subset='url', keep='first')

当然没有考虑“keep_if_dup”字段。输出是：

id    url     keep_if_dup
1     A.com   Yes
3     B.com   No
5     C.com   No

Answer 1

您可以将多个布尔条件传递给loc，第一个将所有行保留为col'hold_if_dup'=='是'，这是or ed（使用|） col'url'列是否重复的反向布尔掩码：

In [79]:
df.loc[(df['keep_if_dup'] =='Yes') | ~df['url'].duplicated()]

Out[79]:
   id    url keep_if_dup
0   1  A.com         Yes
1   2  A.com         Yes
2   3  B.com          No
4   5  C.com          No

覆盖你的df自我分配：

df = df.loc[(df['keep_if_dup'] =='Yes') | ~df['url'].duplicated()]

分解上面显示了2个布尔掩码：

In [80]:
~df['url'].duplicated()

Out[80]:
0     True
1    False
2     True
3    False
4     True
Name: url, dtype: bool

In [81]:
df['keep_if_dup'] =='Yes'

Out[81]:
0     True
1     True
2    False
3    False
4    False
Name: keep_if_dup, dtype: bool