Question

在pytorch中，假设我有2个矩阵，我如何计算每个行中所有行的余弦相似度与另一行中的所有行。

例如

鉴于输入=

matrix_1 = [a b] 
           [c d] 
matrix_2 = [e f] 
           [g h]

我希望输出为

输出=

 [cosine_sim([a b] [e f])  cosine_sim([a b] [g h])]
 [cosine_sim([c d] [e f])  cosine_sim([c d] [g h])]

目前我使用的是torch.nn.functional.cosine_similarity（matrix_1，matrix_2），它返回行的余弦值，只有另一个矩阵中的相应行。

在我的示例中，我只有2行，但我想要一个适用于多行的解决方案。我甚至想处理每个矩阵中行数不同的情况。

我意识到我可以使用扩展，但是我想在不使用如此大的内存空间的情况下进行扩展。

Answer 1

通过手动计算相似度并使用矩阵乘法+转置：

import torch
from scipy import spatial
import numpy as np

a = torch.randn(2, 2)
b = torch.randn(3, 2) # different row number, for the fun

# Given that cos_sim(u, v) = dot(u, v) / (norm(u) * norm(v))
#                          = dot(u / norm(u), v / norm(v))
# We fist normalize the rows, before computing their dot products via transposition:
a_norm = a / a.norm(dim=1)[:, None]
b_norm = b / b.norm(dim=1)[:, None]
res = torch.mm(a_norm, b_norm.transpose(0,1))
print(res)
#  0.9978 -0.9986 -0.9985
# -0.8629  0.9172  0.9172

# -------
# Let's verify with numpy/scipy if our computations are correct:
a_n = a.numpy()
b_n = b.numpy()
res_n = np.zeros((2, 3))
for i in range(2):
    for j in range(3):
        # cos_sim(u, v) = 1 - cos_dist(u, v)
        res_n[i, j] = 1 - spatial.distance.cosine(a_n[i], b_n[j])
print(res_n)
# [[ 0.9978022  -0.99855876 -0.99854881]
#  [-0.86285472  0.91716063  0.9172349 ]]

Answer 2

基于benjaminplanche的答案为数字稳定性添加eps：

def sim_matrix(a, b, eps=1e-8):
    """
    added eps for numerical stability
    """
    a_n, b_n = a.norm(dim=1)[:, None], b.norm(dim=1)[:, None]
    a_norm = a / torch.max(a_n, eps * torch.ones_like(a_n))
    b_norm = b / torch.max(b_n, eps * torch.ones_like(b_n))
    sim_mt = torch.mm(a_norm, b_norm.transpose(0, 1))
    return sim_mt

Answer 3

与Zhang Yu 的答案相同，但使用clamp 而不是max 并且不创建新的张量。我用timeit做了一个小测试，显示clamp更快，虽然我不熟练使用那个工具。

def sim_matrix(a, b, eps=1e-8):
    """
    added eps for numerical stability
    """
    a_n, b_n = a.norm(dim=1)[:, None], b.norm(dim=1)[:, None]
    a_norm = a / torch.clamp(a_n, min=eps)
    b_norm = b / torch.clamp(b_n, min=eps)
    sim_mt = torch.mm(a_norm, b_norm.transpose(0, 1))
    return sim_mt

如何计算pytorch中矩阵中所有行的cosine_similarity相对于另一个矩阵中的所有行

3 个答案: