无需scipy即可计算余弦相似度矩阵sklearn.metrics.pairwise

Question

让我们说我有一个像这样的矩阵：

[[5.05537647 4.96643654 4.88792309 4.48089566 4.4469417  3.7841264]
[4.81800568 4.75527558 4.69862751 3.81999698 3.7841264 3.68258605]
[4.64717983 4.60021917 4.55716111 4.07718641 4.0245128 4.69862751]
[4.51752158 4.35840703 4.30839634 3.97312429 3.9655597 3.68258605]
[4.38592909 4.33261686 4.2856032 4.26411249 4.24381326 3.7841264]]

我需要计算矩阵行之间的余弦相似度，但不使用“ scipy”和“ sklearn.metrics.pairwise”中的余弦相似度。但是我可以使用“数学”。

我用这段代码尝试过，但是我不明白如何遍历矩阵的每一行。

import math

def cosine_similarity(matrix):

  for row1 in matrix:
    for row2 in matrix:
      sum1, sum2, sum3 = 0, 0, 0
      for i in range(len(row1)):
        a = row1[i]; b = row2[i]
        sum1 += a*a
        sum2 += b*b
        sum3 += a*b
    return sum3 / math.sqrt(sum1*sum2)

 cosine_similarity(matrix)

您有什么想法我该怎么做？谢谢！

Answer 1

由于您有一个numpy矩阵，因此可以使用矢量化操作。此外，math.sqrt不允许向量化运算，因此，您可以使用np.sqrt对向量平方根运算进行向量化。以下是将相似性索引存储在列表中并返回它的代码。

import numpy as np    

def cosine_similarity(matrix):
    sim_index = []
    for row1 in matrix:
        for row2 in matrix:
            sim_index.append(sum(row1*row2)/np.sqrt(sum(row1**2) * sum(row2**2)))
    return sim_index

cosine_similarity(matrix)

# 1.0,0.9985287276116063,0.9943589065201967,0.9995100043150523,0.9986115804314727,0.9985287276116063,1.0,0.9952419798474134,0.9984515542959852,0.9957338741601842,0.9943589065201967,0.9952419798474134,1.0,0.9970632589904104,0.9962784686967592,0.9995100043150523,0.9984515542959852,0.9970632589904104,1.0,0.9992584450362125,0.9986115804314727,0.9957338741601842,0.9962784686967592,0.9992584450362125,1.0

使用列表理解的其他短代码

sim_index = np.array([sum(r1*r2)/np.sqrt(sum(r1**2) * sum(r2**2)) for r1 in matrix for r2 in matrix])

最终列表将转换为数组以进行重塑以进行绘图。

可视化相似度矩阵：此处，由于每一行与自身完全相同，因此相似度索引为1（黄色）。因此，绘制的矩阵的对角线全为黄色（索引= 1）。

import matplotlib.pyplot as plt
plt.imshow(sim_index.reshape((5,5)))
plt.colorbar()