Question

我想要比较两个Pandas DataFrame。例如

    a    b    c
A   na   na  na
B   na   1    1
C   na   1    na

和

    a    b    c
A   1    na   1
B   na   na   na
C   na   1    na
D   na   1    na

我想找到共享的任何值的索引列坐标，在本例中为

    b
C   1

这可能吗？

Answer 1

如果您将keys参数传递给concat，结果数据框的列将包含一个跟踪原始数据帧的多索引：

In [1]: c=pd.concat([df,df2],axis=1,keys=['df1','df2'])
        c

Out[1]:
   df1           df2
     a    b    c   a   b   c
A   na   na   na   1  na   1
B   na    1    1  na  na  na
C   na    1   na  na   1  na
D  NaN  NaN  NaN  na   1  na

由于底层数组现在具有相同的形状，您现在可以使用==广播您的比较并将其用作掩码以返回所有匹配值：

In [171]: m=c.df1[c.df1==c.df2];m
Out[171]:
    a   b   c
A NaN NaN NaN
B NaN NaN NaN
C NaN   1 NaN
D NaN NaN NaN

如果你的'na'值实际为零，你可以使用稀疏矩阵将其减少到匹配值的坐标（尽管你会失去你的索引和列名）：

import scipy.sparse as sp
print(sp.coo_matrix(m.where(m.notnull(),0)))
  (2, 1)    1.0

Answer 2

如果您只想要不同的索引，可以执行：different_indices = [(i,j) for i in range(len((df1 != df2).columns)) for j in range(len(df1 != df2)) if (df1 != df2)[i][j]]

或者，稍微更具可读性：

m = (df1 != df2)
different_indices = [(i,j) for i in range(len(m.columns)) for j in range(len(m)) if m[i][j]]

在两个不同形状的DataFrame中查找相同的数据

2 个答案: