Question

是否有一种简单的方法可以找到基于MultiIndex的两个pandas数据帧之间的不相交记录集（两个原始数据帧中每个未包含在生成的内部联接中的内容）？

我是否遗漏了一些相当明显的东西，或者我是否需要花一些时间自己实现这种功能？

我试图通过找到两个数据帧的muliIndex键集之间的对称差异来做到这一点，但事实证明这很困难。我一直在努力让这个工作。我的另一个选择，似乎它可能有点容易是添加一个整数的虚拟列，可以作为一个不同的单个索引，即使我执行multiIndex合并后保留，所以我可以使用python set运算符这个事实上的单键。

[请注意，这与此问题有关但略有不同，因为此合并不是基于MultiIndex对象，而是基于数据框的列中的值：How do I do a SQL style disjoint or set difference on two Pandas DataFrame objects?]

Answer 1

我认为你找到对称差异的方法是可行的方法。

In [97]: from numpy import random

In [98]: arrays1 = [['bar', 'bar', 'baz', 'baz', 'foo', 'foo', 'qux', 'qux'],
   ....:           ['one', 'two', 'one', 'two', 'one', 'two', 'one', 'two']]


In [99]: arrays2 = [['bar', 'baz', 'baz', 'baz', 'foo', 'foo', 'qux', 'qux'], [
   ....: 'one', 'one', 'two', 'three', 'one', 'two', 'one', 'three']]


In [100]: tuples1 = zip(*arrays1)

In [101]: tuples2 = zip(*arrays2)

In [102]: index1 = MultiIndex.from_tuples(tuples1, names=['first', 'second'])

In [103]: index2 = MultiIndex.from_tuples(tuples2, names=['first', 'second'])

In [104]: df1 = pd.DataFrame(random.randn(8, 2), index=index1)

In [105]: df2 = pd.DataFrame(random.randn(8, 2), index=index2)

In [106]: df1
Out[106]: 
                     0         1
first second                    
bar   one     0.613378 -0.400247
baz   one    -3.005834  0.004879
      two     0.066539 -0.289100
      three  -0.020099  0.644226
foo   one    -0.461458 -1.621812
      two     0.286655  0.110588
qux   one     0.363648 -0.271281
      three   1.707787 -1.832602

In [107]: df2
Out[107]: 
                     0         1
first second                    
bar   one    -1.010482 -0.023373
baz   one    -0.040335  1.553905
      two    -0.080283 -0.571686
      three  -0.985722 -0.795481
foo   one     0.623122  2.124316
      two    -0.493333 -0.343462
qux   one    -1.346753 -1.343945
      three  -0.053497 -0.382402

In [108]: sym_diff = (df1.index - df2.index).union(df2.index - df1.index)

In [109]: sym_diff
Out[109]: 
MultiIndex
[(u'baz', u'three'), (u'qux', u'three')]

我不确定为什么MultiIndex上没有对称差分方法。

Answer 2

使用TomAugspurger概述的相同测试数据

import pandas as pd
import numpy as np

# create a test data set
arrays1 = [['bar', 'bar', 'baz', 'baz', 'foo', 'foo', 'qux', 'qux'],
           ['one', 'two', 'one', 'two', 'one', 'two', 'one', 'two']]
arrays2 = [['bar', 'baz', 'baz', 'baz', 'foo', 'foo', 'qux', 'qux'],
           ['one', 'one', 'two', 'three', 'one', 'two', 'one', 'three']]
tuples1 = zip(*arrays1)
tuples2 = zip(*arrays2)
index1 = pd.MultiIndex.from_tuples(tuples1, names=['first', 'second'])
index2 = pd.MultiIndex.from_tuples(tuples2, names=['first', 'second'])
df1 = pd.DataFrame(np.random.randn(8, 2), index=index1)
df2 = pd.DataFrame(np.random.randn(8, 2), index=index2)

产生以下两个表

                     0         1
first second                    
bar   one    -0.579214  0.261575
      two     0.912683 -0.475463
baz   one    -0.295739 -0.586646
      two     0.031916  0.199812
foo   one    -0.724781 -1.245275
      two    -0.824759  2.270161
qux   one     0.638533  0.537306
      two    -0.988444 -1.076636

和

                     0         1
first second                    
bar   one    -0.859494  0.214814
baz   one    -0.446976  1.281912
      two    -0.181159  0.574126
      three   0.212799 -1.592317
foo   one    -1.192866  1.544799
      two     1.025816  0.921364
qux   one    -0.927700 -0.516720
      three   0.610065  0.028249

然后你可以通过

获得不相交的数据帧

df1[~df1.index.isin(df2.index)].append(df2[~df2.index.isin(df1.index)])

导致

                     0         1
first second                    
bar   two     0.912683 -0.475463
qux   two    -0.988444 -1.076636
baz   three   0.212799 -1.592317
qux   three   0.610065  0.028249

这就是你要求的吗？

来自两个pandas DataFrames的不相交的记录集

2 个答案: