如何为聚类指定距离函数?

时间:2015-11-15 16:27:07

标签: python scipy scikit-learn hierarchical-clustering

我想将自定义距离的点聚类,奇怪的是,似乎scipy和sklearn聚类方法都不允许指定距离函数。

例如,在sklearn.cluster.AgglomerativeClustering中,我唯一能做的就是输入一个亲和力矩阵(这将是一个非常大的内存)。为了构建这个矩阵,建议使用sklearn.neighbors.kneighbors_graph,但我不明白如何在两点之间指定距离函数。有人可以启发我吗?

3 个答案:

答案 0 :(得分:15)

所有scipy层次聚类例程都将接受自定义距离函数,该函数接受指定一对点并返回标量的两个1D向量。例如,使用fclusterdata

import numpy as np
from scipy.cluster.hierarchy import fclusterdata

# a custom function that just computes Euclidean distance
def mydist(p1, p2):
    diff = p1 - p2
    return np.vdot(diff, diff) ** 0.5

X = np.random.randn(100, 2)

fclust1 = fclusterdata(X, 1.0, metric=mydist)
fclust2 = fclusterdata(X, 1.0, metric='euclidean')

print(np.allclose(fclust1, fclust2))
# True

metric= kwarg的有效输入与scipy.spatial.distance.pdist的有效输入相同。

答案 1 :(得分:3)

sklearn具有允许预先计算的距离矩阵的DBSCAN(使用三角矩阵,其中M_ij是i和j之间的距离)。但这可能不是您正在寻找的聚类类型。

此外,正如其他人提到的,scipy.cluster.hierarchy.fclusterdata也允许预先计算的距离指标。在this reply中给出了一段代码,它提供了一些代码来将NxN距离矩阵转换为fclusterdata可以轻松读取的格式:

import scipy.spatial.distance as ssd
# convert the redundant n*n square matrix form into a condensed nC2 array
    distArray = ssd.squareform(distMatrix) # distArray[{n choose 2}-{n-i choose 2} + (j-i-1)] is the distance between points i and j

答案 2 :(得分:1)

对于分层群集,scipy.cluster.hierarchy.fclusterdata允许您通过metric=关键字参数使用列表here中包含的任何距离度量标准,前提是它可以使用您想要的链接方法。