Question

我有这样的数据框：

        apple aple  apply
apple     0     0      0
aple      0     0      0
apply     0     0      0

我想计算字符串距离，例如apple - ＆gt; aple等我的最终结果是：

        apple aple  apply
apple     0     32     14
aple      32    0      30
apply     14    30     0

目前这是我正在使用的代码（但对于大数据来说速度非常慢）：

columns = df.columns
for r in columns:
  for c in columns:
     m[r][c] = Simhash(r).distance(Simhash(c))

任何人都可以帮我有效地计算距离吗？

Answer 1

一个想法 - 由于输出是对称的，通过遍历每一对，你计算每对两次。此外，您可以跳过元素与其自身之间的比较。因此，为了至少减少计算次数，您可以执行以下操作 - 使用itertools仅计算对的距离，然后使用pandas填充其余部分。

from itertools import combinations
from collections import defaultdict

data = df.index

output = defaultdict(dict)

for a,b in combinations(data, 2):
    output[a][b] = Simhash(a).distance(Simhash(b))
for a in data:
    output[a][a] = 0

df = pd.DataFrame(output)

df = df.fillna(df.T)

你必须测试一个更大的框架，但我认为它会比你正在做的更快，并且应该给出相同的答案。

In [84]: df
Out[84]: 
       aple  apple  apply
aple      0     32     30
apple    32      0     14
apply    30     14      0

熊猫：价值的矩阵计算

1 个答案: