如何通过比较列从另一个数据帧中过滤掉一个python pandas数据帧的行?

时间:2014-07-10 12:22:05

标签: python filter pandas merge

我正在尝试从一个数据帧中排除行,这也出现在另一个数据帧中:

import pandas

df = pandas.DataFrame({'A': ['Chr1', 'Chr1', 'Chr1','Chr1', 'Chr1', 'Chr1','Chr2','Chr2'], 'B': [10,20,30,40,50,60,15,20]})

errors = pandas.DataFrame({'A': ['Chr1', 'Chr1'], 'B': [20,50]})

因此,应忽略df中等于错误的行:

df:
'A'    'B'
Chr1    10
Chr1    30
Chr1    40
Chr1    60
Chr2    15
Chr2    20

它似乎不适用于df.merge,我不想迭代所有行,因为 数据帧变得非常大。

最佳,

大卫

2 个答案:

答案 0 :(得分:6)

为错误添加额外的列

errors['temp'] = 1

合并两个数据帧

merged_df = pandas.merge(df,errors,how='outer')

现在只保留那些具有' temp'作为NaN

merged_df = merged_df[ merged_df['temp'] != 1 ]
del merged_df['temp']

print merged_rdf

      A   B
 0  Chr1  10
 2  Chr1  30
 3  Chr1  40
 5  Chr1  60
 6  Chr2  15
 7  Chr2  20

答案 1 :(得分:4)

您可以执行以下两列:

 print df[ ~df['A'].isin(errors['A']) | ~df['B'].isin(errors['B']) ]