Python数据帧对大量数据进行笛卡尔运算

Question

我有2个数据帧，都有大约30k行和8列，我需要从第二个df中每行的值中减去第一个df中每一行的值（以计算每对行之间的欧几里德距离） ）这可能会导致只有每对行之间的差异的3d结构。我尝试了几种方法，但每种方法都需要很长时间才能完成。有没有一种有效的方法呢？

Answer 1

值得一提的是，您的笛卡尔积可以按如下方式完成：

import pandas as pd

df1 = pd.DataFrame({'A': [1,2,3]})
df2 = pd.DataFrame({'B': [4,5,6]})

df3 = pd.merge(df1.assign(key=1), df2.assign(key=1), on='key').drop('key', axis=1)
df3
#   A  B
#0  1  4
#1  1  5
#2  1  6
#3  2  4
#4  2  5
#5  2  6
#6  3  4
#7  3  5
#8  3  6

Answer 2

如果我理解正确，您的结果数据集将包含900.000.000行。

scipy.spatial.distance.cdist - 是计算两组输入中每对之间距离的最有效方法之一。

如果您需要笛卡尔产品，请参阅@ zipa的答案。