fcluster包中使用余弦相似性度量的分层聚类

时间:2015-05-27 16:26:46

标签: linux python-2.7 cluster-analysis hierarchical-clustering cosine-similarity

我使用scipy.cluster.hierarchy使用“余弦”相似性度量对一组点进行分层聚类。举个例子,我有:

import scipy.cluster.hierarchy as hac 
import matplotlib.pyplot as plt 

Points = 
  np.array([[ 0.         , 0.23508573], 
 [ 0.00754775 , 0.26717266], 
 [ 0.00595464 , 0.27775905], 
 [ 0.01220563 , 0.23622067], 
 [ 0.00542628 , 0.14185873], 
 [ 0.03078922 , 0.11273108], 
 [ 0.06707743 ,-0.1061131 ], 
 [ 0.04411757 ,-0.10775407], 
 [ 0.01349434 , 0.00112159], 
 [ 0.04066034 , 0.11639591], 
 [ 0.         , 0.29046682], 
 [ 0.07338036 , 0.00609912], 
 [ 0.01864988 , 0.0316196 ], 
 [ 0.         , 0.07270636], 
 [ 0.         ,  0.        ]]) 


z = hac.linkage(Points, metric='cosine', method='complete') 
labels = hac.fcluster(z, 0.1, criterion="distance") 


plt.scatter(Points[:, 0], Points[:, 1], c=labels.astype(np.float)) 
plt.show()

由于我使用余弦度量,在某些情况下,两个向量的点积可以是负数,或者某些向量的范数可以为零。这意味着z输出将具有一些负面或无限元素,这些元素对于fcluster无效(如下所示):

z =
[[  0.00000000e+00   1.00000000e+01   0.00000000e+00   2.00000000e+00] 
[  1.30000000e+01   1.50000000e+01   0.00000000e+00   3.00000000e+00] 
[  8.00000000e+00   1.10000000e+01   4.26658708e-13   2.00000000e+00]       
[  1.00000000e+00   2.00000000e+00   2.31748880e-05   2.00000000e+00] 
[  3.00000000e+00   4.00000000e+00   8.96700489e-05   2.00000000e+00] 
[  1.60000000e+01   1.80000000e+01   3.98805492e-04   5.00000000e+00] 
[  1.90000000e+01   2.00000000e+01   1.33225099e-03   7.00000000e+00] 
[  5.00000000e+00   9.00000000e+00   2.41120340e-03   2.00000000e+00] 
[  6.00000000e+00   7.00000000e+00   1.52914684e-02   2.00000000e+00] 
[  1.20000000e+01   2.20000000e+01   3.52441432e-02   3.00000000e+00] 
[  2.10000000e+01   2.40000000e+01   1.38662986e-01   1.00000000e+01] 
[  1.70000000e+01   2.30000000e+01   6.99056531e-01   4.00000000e+00] 
[  2.50000000e+01   2.60000000e+01   1.92543748e+00   1.40000000e+01] 
[ -1.00000000e+00   2.70000000e+01              inf   1.50000000e+01]] 

为了解决这个问题,我检查了linkage()函数,在里面我需要检查_hierarchy.linkage()方法。我使用pycharm文本编辑器,当我询问“链接”源代码时,它在目录中打开了一个python文件,即“_hierarchy.py”,如下所示:

.PyCharm40/system/python_stubs/-1247972723/scipy/cluster/_hierarchy.py  

此python文件没有包含所有函数的任何定义 我想知道修改它的这个函数的正确来源是什么,还是有另一种解决这个问题的方法。 我将非常感谢您的帮助和提示。

1 个答案:

答案 0 :(得分:0)

您的数据集中有一个零向量0 0。对于此类数据,余弦距离未定义,因此您使用的是不适当的距离函数! 这是一个不能轻易关闭的定义差距。 inf0一样不正确。与余弦0 0的距离不能定义而没有任何矛盾。您不得在此类数据上使用余弦。

回到你的实际问题:_hierarchy是一个Cython模块。 它不是纯python,而是编译为本机代码。您可以在Github上轻松查看源代码:

https://github.com/scipy/scipy/blob/master/scipy/cluster/_hierarchy.pyx