Pandas Apply - 返回多行

Question

我有两个数据框，我需要比较行的完整组合并返回符合条件的组合。对于Spark（使用交叉连接）的小型群集来说，这太过密集，所以我正在尝试这种方法，最终会看到Dask是否可以改进它。

如果表A和B是

a=pd.DataFrame(np.array([[1,2,3],[4,5,6]]), columns=['a','b','c'])

b=pd.DataFrame(np.array([[4,7,4],[6,5,1],[8,6,0]]), columns=['d','e','f'])

然后所有组合都是这样的，其中计算了A-D。假设我只想保留A-D＆gt; = - 3

的行

A   B   C   D   E   F   A-D
1   2   3   4   7   4   -3
1   2   3   6   5   1   -5
1   2   3   8   6   0   -7
4   5   6   4   7   4   0
4   5   6   6   5   1   -2
4   5   6   8   6   0   -4

我尝试使用apply执行此操作，但似乎我无法从函数中返回多行dataframe（该函数创建单行'A'和整个表的所有组合'B'并返回符合条件的行。

这是我正在测试的功能：

def return_prox_branches(a, B, cutthresh):

    aa=a['a']-B['d']

    keep_B = B.copy().loc[(aa.values >= cutthresh),:]

    keep_B['A']=a['a']

    keep_B['B']=a['b']

    keep_B['C']=a['c']

    keep_B['A-D']=a['a']-keep_B['d']

    print(keep_B)

    return(keep_B)



a.apply(return_prox_branches, axis=1, args=(b,-3))





ValueError: cannot copy sequence with size 7 to array axis with dimension 1

实际上，这两个表有数百万行。

有没有办法让大熊猫有效地工作？

Answer 1

有趣的方式！

在Python 3.5中可以通过这种方式解压缩 https://www.python.org/dev/peps/pep-0448/#rationale

i, j = np.where(np.subtract.outer(a.a, b.d) >= -3)
pd.DataFrame({**a.iloc[i].to_dict('l'), **b.iloc[j].to_dict('l')})

   a  b  c  d  e  f
0  1  2  3  4  7  4
1  4  5  6  4  7  4
2  4  5  6  6  5  1

类似但不那么混乱

i, j = np.where(np.subtract.outer(a.a, b.d) >= -3)
a_ = a.values[i]
b_ = b.values[j]

d = pd.DataFrame(
    np.column_stack([a_, b_]),
    columns=a.columns.append(b.columns)
)

d

   a  b  c  d  e  f
0  1  2  3  4  7  4
1  4  5  6  4  7  4
2  4  5  6  6  5  1

在这两种情况下，我们依赖于b.d的{​​{1}}的外部减法。这将从a.a的值创建值b.d的每个可能减法的二维数组。 a.a找到此差异为np.where的坐标。我可以使用这些结果来切割原始数据帧并将它们放在一起。

Pure（ish）Pandas

我怀疑你可以用dask

>= -3

非封闭替代

def gen_pseudo(d_):
    def pseudo(d):
        cols = d.columns.append(d_.columns)
        return d_.assign(**d.squeeze()).query('a - d >= -3')[cols]
    return pseudo

a.groupby(level=0).apply(gen_pseudo(b))

     a  b  c  d  e  f
0 0  1  2  3  4  7  4
1 0  4  5  6  4  7  4
  1  4  5  6  6  5  1

理解

def pseudo(d, d_):
    cols = d.columns.append(d_.columns)
    return d_.assign(**d.squeeze()).query('a - d >= -3')[cols]

a.groupby(level=0).apply(pseudo, d_=b)