如何计算目标中加权值的相似度以创建良好的聚类

Question

我尝试根据包含加权值的对象创建聚类。

值是关于歌曲和对象是用户。例如：

如果user1喜欢3首流行歌曲，1首说唱歌曲和没有嘻哈歌曲，他将会被重新发布为：

u1 = {3,1,0}

因此，如果我有3个具有随机值的用户，我可以使用这样的矩阵：

3 1 0
0 4 5
1 2 3

u1 = {3,1,0}
u2 = {0,4,5}
u3 = {1,2,3}

我的问题是，是否可以在这种数据上创建群集？什么样的算法才能找到像Jaccard相似系数这样的数据之间的相似性。

首先我尝试使用二进制数据进行计算，但如果我这样做，我会丢失一些信息。

在第二种方式中，我尝试计算每个值之间的相似性。我总结了所有的相似性，并在每个对象值之间再次进行。

举个例子：

我拿u1和u2然后我得到：

u1 = {3,1,0}
u2 = {0,4,5}

|3 - 0| = 3
|4 - 1| = 3
|0 - 5| = 5

(3 + 3 + 5) / 3 = 11/3 

u1 = {3,1,0}
u3 = {1,2,3}

|3 - 1| = 2
|1 - 2| = 1
|0 - 3| = 3

(2 + 1 +3) / 3 = 6/3 = 2

11/3＆gt; 2所以u1和u3更相似。

但我不确定这种做法是否也很好。

这样做的目的是将群集与其他群集进行比较以匹配某些搜索结果。

Answer 1

首先，它似乎不是聚类分析的任何特例。事实上，每个聚类方法在这个数据上也应该像通常一样工作 - 我的意思是这不是“奇怪的”或具体的，你只是在N维空间中有点。唯一的一点是，你现在的表现形式让喜欢10000首歌曲的人喜欢喜欢10首歌曲的人，即使他们的音乐品味相同，例如：

[ 10000 0 0 ]
[ 10 0 0 ]

因此，如果您实际上正在考虑对用户“gerne”偏好进行建模，那么您应该考虑规范化，因此您（例如，有很多方法可以做到这一点）每个维度的百分比，而不是计算：

[ 10000 0 0 ] -> [ 1.0 0.0 0.0 ]
[ 10 0 0 ] -> [ 1.0 0.0 0.0 ]

特定聚类方法的选择取决于预期输出的许多内容，而不是输入。你可以从一些简单的方法（基于k-centroids）开始，如果结果不令人满意 - 深入研究更高级的方法（层次聚类，dbscan，光学，em，...）。

Answer 2

我建议您使用 Cosine similarity 。

假设用户的偏好只是向量（每个向量代表一个用户）。

根据您的理解，不同的用户可以收听不同数量的音乐 - 但是，尽管如此，他们可能也有类似的偏好：

因此，在这个模型的方法中，我们可以声称，两个向量之间的较小角度 - 它们越相似。

与直接计算两个向量之间的角度相反 - 我们可以计算它们之间的余弦（这更简单）：

由于余弦函数的特殊性：两个向量之间的角度余弦越大 - 它们越相似。

你的例子：

u1 = {3, 1, 0}
u2 = {0, 4, 5}
u3 = {1, 2, 3}

|u1| = sqrt(3^2 + 1^2 + 0^2) = sqrt(10) ~ 3.16
|u2| = sqrt(0^2 + 4^2 + 5^2) = sqrt(41) ~ 6.4
|u3| = sqrt(1^2 + 2^2 + 3^2) = sqrt(14) ~ 3.74

similarity(u1, u2) = dot_product(u1, u2) / (|u1| * |u2|) 
                   = (3*0 + 1*4 + 0*5) / (3.16 * 6.4)
                   = 4 / 20.224 ~ 0.2

similarity(u2, u3) = dot_product(u2, u3) / (|u2| * |u3|) 
                   = (0*1 + 4*2 + 5*3) / (6.4 * 3.74)
                   = 23 / 23.936 ~ 0.96

similarity(u1, u3) = dot_product(u1, u3) / (|u1| * |u3|) 
                   = (3*1 + 1*2 + 0*3) / (3.16 * 3.74)
                   = 4 / 11.8184 ~ 0.34

所以：

相似度（u1，u2）= 0.2

相似度（u2，u3）= 0.96

相似度（u1，u3）= 0.34

正如我所见 - 结果与输入数据相关，因为u2和u3都喜欢说唱和嘻哈，而且几乎不喜欢流行音乐。