Question

我有一个pandas数据框，其中包含各自葡萄酒属性的葡萄酒列表。

然后我创建了一个新的列向量，其中包含来自这些属性的numpy向量。

def get_wine_profile(id):
wine = wines[wines['exclusiviId'] == id]
wine_vector = np.array(wine[wine_attrs].values.tolist()).flatten()

return wine_vector

wines['vector'] = wines.exclusiviId.apply(get_wine_profile)

因此矢量列看起来像这样

vector

[1, 1, 1, 2, 2, 2, 2, 1, 1, 1]

[3, 1, 2, 1, 2, 2, 2, 0, 1, 3]

[1, 1, 2, 1, 3, 3, 3, 0, 1, 1]

.

.

现在我想在此列和另一个向量之间执行余弦相似性，该向量是用户输入的结果向量这是我到目前为止所尝试的

from scipy.spatial.distance import cosine
cos_vec = wines.apply(lambda x: (1-cosine(wines["vector"],[1, 1, 1, 2, 2, 2, 2, 1, 1, 1]), axis=1)
Print(cos_vec)

这是抛出错误

ValueError: ('operands could not be broadcast together with shapes (63,) (10,) ', 'occurred at index 0')

我也尝试使用sklearn，但它也有与arrar形状相同的问题

我想要的最终输出是在此列和用户输入之间具有匹配分数的列

Answer 1

更好的解决方案IMO将cdist与cosine指标结合使用。您有效地计算数据框中n点与用户输入中1点之间的成对距离，即总共n对。

如果您一次处理多个用户，这将更有效。

from scipy.spatial.distance import cdist

# make into 1x10 array
user_input = np.array([1, 1, 1, 2, 2, 2, 2, 1, 1, 1])[None]
df["cos_dist"] = cdist(np.stack(df.vector), user_input, metric="cosine")


# vector  cos_dist
# 0  [1, 1, 1, 2, 2, 2, 2, 1, 1, 1]   0.00000
# 1  [3, 1, 2, 1, 2, 2, 2, 0, 1, 3]   0.15880
# 2  [1, 1, 2, 1, 3, 3, 3, 0, 1, 1]   0.07613

顺便说一句，看起来你正在使用原生Python列表。我会把所有东西都改成numpy数组。当您拨打np.array时，无论如何都会转换为cosine。

Answer 2

我做了我自己的功能，是的，它是有效的

import math
def cosine_similarity(v1,v2):
"compute cosine similarity of v1 to v2: (v1 dot v2)/{||v1||*||v2||)"
sumxx, sumxy, sumyy = 0, 0, 0
for i in range(len(v1)):
    x = v1[i]; y = v2[i]
    sumxx += x*x
    sumyy += y*y
    sumxy += x*y
return sumxy/math.sqrt(sumxx*sumyy)

def get_similarity(id):
 vec1 = result_vector
 vec2 = get_wine_profile(id)
 similarity = cosine_similarity(vec1, vec2)
 return similarity

wines['score'] = wines.exclusiviId.apply(get_similarity)
display(wines.head())

向量和pandas列之间的余弦相似性（线性向量）

2 个答案: