我有很多重复的记录-其中一些有银行帐户。我想用银行帐户保存记录。
基本上类似于：
if there are two Tommy Joes:
keep the one with a bank account
我尝试使用下面的代码进行重复数据删除，但是它保留了没有银行帐户的重复数据。
df = pd.DataFrame({'firstname':['foo Bar','Bar Bar','Foo Bar','jim','john','mary','jim'],
'lastname':['Foo Bar','Bar','Foo Bar','ryan','con','sullivan','Ryan'],
'email':['Foo bar','Bar','Foo Bar','jim@com','john@com','mary@com','Jim@com'],
'bank':[np.nan,'abc','xyz',np.nan,'tge','vbc','dfg']})
df
firstname lastname email bank
0 foo Bar Foo Bar Foo bar NaN
1 Bar Bar Bar Bar abc
2 Foo Bar Foo Bar Foo Bar xyz
3 jim ryan jim@com NaN
4 john con john@com tge
5 mary sullivan mary@com vbc
6 jim Ryan Jim@com dfg
# get the index of unique values, based on firstname, lastname, email
# convert to lower and remove white space first
uniq_indx = (df.dropna(subset=['firstname', 'lastname', 'email'])
.applymap(lambda s:s.lower() if type(s) == str else s)
.applymap(lambda x: x.replace(" ", "") if type(x)==str else x)
.drop_duplicates(subset=['firstname', 'lastname', 'email'], keep='first')).index
# save unique records
dfiban_uniq = df.loc[uniq_indx]
dfiban_uniq
firstname lastname email bank
0 foo Bar Foo Bar Foo bar NaN # should not be here
1 Bar Bar Bar Bar abc
3 jim ryan jim@com NaN # should not be here
4 john con john@com tge
5 mary sullivan mary@com vbc
# I wanted these duplicates to appear in the result:
firstname lastname email bank
2 Foo Bar Foo Bar Foo Bar xyz
6 jim Ryan Jim@com dfg
您可以看到索引0和3被保留。这些具有银行帐户的客户的版本已删除。我的预期结果是反其道而行之。删除没有银行帐户的骗子。
我曾经考虑过先按银行帐户进行排序，但是我有很多数据，因此我不确定如何“检查”它是否有效。
任何帮助表示赞赏。
这里有一些类似的问题，但它们似乎都具有可以排序的值，例如年龄等。这些散列的银行帐号非常混乱
编辑：
尝试对我的真实数据集进行回答会得出一些结果。
@Erfan的方法按子集+库对值进行排序
重复数据删除后剩余58594条记录：
subset = ['firstname', 'lastname']
df[subset] = df[subset].apply(lambda x: x.str.lower())
df[subset] = df[subset].apply(lambda x: x.replace(" ", ""))
df.sort_values(subset + ['bank'], inplace=True)
df.drop_duplicates(subset, inplace=True)
print(df.shape[0])
58594
@ Adam.Er8答案使用按银行排序的值。重复数据删除后剩余59170条记录：
uniq_indx = (df.sort_values(by="bank", na_position='last').dropna(subset=['firstname', 'lastname', 'email'])
.applymap(lambda s: s.lower() if type(s) == str else s)
.applymap(lambda x: x.replace(" ", "") if type(x) == str else x)
.drop_duplicates(subset=['firstname', 'lastname', 'email'], keep='first')).index
df.loc[uniq_indx].shape[0]
59170
不确定为什么差异，但是两者足够相似。
答案 0 :(得分：1)
您应该在bank列中用na_position='last'对值进行排序（这样.drop_duplicates(..., keep='first')将保留一个非na的值。）
尝试一下：
import pandas as pd
import numpy as np
df = pd.DataFrame({'firstname': ['foo Bar', 'Bar Bar', 'Foo Bar'],
'lastname': ['Foo Bar', 'Bar', 'Foo Bar'],
'email': ['Foo bar', 'Bar', 'Foo Bar'],
'bank': [np.nan, 'abc', 'xyz']})
uniq_indx = (df.sort_values(by="bank", na_position='last').dropna(subset=['firstname', 'lastname', 'email'])
.applymap(lambda s: s.lower() if type(s) == str else s)
.applymap(lambda x: x.replace(" ", "") if type(x) == str else x)
.drop_duplicates(subset=['firstname', 'lastname', 'email'], keep='first')).index
# save unique records
dfiban_uniq = df.loc[uniq_indx]
print(dfiban_uniq)
输出：
bank email firstname lastname
1 abc Bar Bar Bar Bar
2 xyz Foo Bar Foo Bar Foo Bar
（这只是.sort_values(by="bank", na_position='last')开头带有uniq_indx = ...的原始代码）
答案 1 :(得分：1)
您可以在drop_duplicates之前按银行帐户排序，以将重复项与NaN放在最后：
uniq_indx = (df.dropna(subset=['firstname', 'lastname', 'email'])
.applymap(lambda s:s.lower() if type(s) == str else s)
.applymap(lambda x: x.replace(" ", "") if type(x)==str else x)
.sort_values(by='bank') # here we sort values by bank column
.drop_duplicates(subset=['firstname', 'lastname', 'email'], keep='first')).index
答案 2 :(得分：1)
这也适用于许多列
subset = ['firstname', 'lastname']
df[subset] = df[subset].apply(lambda x: x.str.lower())
df.sort_values(subset + ['bank'], inplace=True)
df.drop_duplicates(subset, inplace=True)
firstname lastname email bank
1 bar bar bar Bar abc
2 foo bar foo bar Foo Bar xyz
不容易泛化到许多列
df.groupby([df['firstname'].str.lower(), df['lastname'].str.lower()], sort=False)\
.agg({'email':'first','bank':'first'})\
.reset_index()
firstname lastname email bank
0 foo bar foo bar Foo bar xyz
1 bar bar bar Bar abc
答案 3 :(得分：0)
在删除重复项之前，按降序对值进行排序。这样可以确保NANS不会排名第一