Question

我想在一个csv文件中使用列值来掩盖另一个csv中的行，如：

df6 = pd.read_csv(‘py_all1a.csv’) # file with multiple columns
df7 = pd.read_csv(‘artexclude1.csv’) # file with multiple columns
#    
#  csv df6 col 1 has the same header and data type as col 8 in df7.   
#  I want to mask rows in df6 that have a matching col value to any
#  in df7. The data in each column is a text value (single word).
#   
mask = df6.iloc[:,1].isin(df7.iloc[:,8]) 

df6[~mask].to_csv(‘py_all1b.csv’, index=False) 
#

在最后一行，我用波浪号尝试[mask]，导致df6文件（py_all1b.csv）没有变化，没有波形符号（只生成列标题的文件）。

以下答案中提供了使用特定数据集的答案，但由于文本值之间存在不一致，即输入时有空格而另一个没有空格，因此无效。

以下答案是正确的，我添加了一个段落，以说明如何解决文字问题。

Answer 1

首先尝试转换为设置：

mask = df6.iloc[:,1].isin(set(df7.iloc[:,8]))

这可确保您的比较符合价值观。

示例

df1 = pd.DataFrame([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]) # 0 1 2 # 0 1 2 3 # 1 4 5 6 # 2 7 8 9 # 3 10 11 12 df2 = pd.DataFrame([[1, 2, 3], [1, 2, 3], [1, 2, 3], [1, 2, 3]]) # 0 1 2 # 0 1 2 3 # 1 1 2 3 # 2 1 2 3 # 3 1 2 3 mask = df1.iloc[:,0].isin(set(df2.iloc[:,0])) df1[mask] # 0 1 2 # 0 1 2 3

使用字符串

它仍然有效：

df1 = pd.DataFrame([['a', 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]) df2 = pd.DataFrame([['a', 2, 3], ['a', 2, 3], ['a', 2, 3], ['a', 2, 3]]) mask = df1.iloc[:,0].isin(set(df2.iloc[:,0])) df1[mask] # 0 1 2 # 0 a 2 3

当您处理字符串数据时，可能会出现可能导致错过匹配的空格问题。如this answer中所述，您可能需要改为使用：

df6 = pd.read_csv('py_all1a.csv', skipinitialspace=True) # file with multiple columns df7 = pd.read_csv('artexclude1.csv', skipinitialspace=True) # file with multiple columns mask = df6.iloc[:,1].isin(set(df7.iloc[:,8])) df6[~mask].to_csv('py_all1b.csv', index=False)

由于字符串值，Dataframe无法屏蔽行

1 个答案: