在单个要素数据框中查找质心和点之间的距离-KMeans

Question

我正在使用KMeans进行异常检测任务。
我正在使用的Pandas数据框具有一个功能，类似于以下功能：

df = array([[12534.],
           [12014.],
           [12158.],
           [11935.],
           ...,
           [ 5120.],
           [ 4828.],
           [ 4443.]])

我能够按照以下说明进行拟合和预测值：

km = KMeans(n_clusters=2)
km.fit(df)
km.predict(df)

为了识别异常，我想计算质心与每个单点之间的距离，但是对于具有单个特征的数据框，我不确定这是正确的方法。

我找到了使用欧几里德距离来计算距离的示例。下面是一个示例：

def k_mean_distance(data, cx, cy, i_centroid, cluster_labels):
    distances = [np.sqrt((x - cx) ** 2 + (y - cy) ** 2) for (x, y) in data[cluster_labels == i_centroid]]
    return distances

centroids = self.km.cluster_centers_
distances = []
for i, (cx, cy) in enumerate(centroids):
    mean_distance = k_mean_distance(day_df, cx, cy, i, clusters)
    distances.append({'x': cx, 'y': cy, 'distance': mean_distance})

此代码对我不起作用，因为在我的情况下，质心类似于以下代码，因为我只有一个要素数据框：

array([[11899.90692187],
       [ 5406.54143126]])

在这种情况下，找到质心和点之间距离的正确方法是什么？有可能吗？

谢谢你，对不起这个小问题，我还在学习

Answer 1

您可以使用scipy.spatial.distance_matrix：

# setup a set of 2d points
np.random.seed(2)
df = np.random.uniform(0,1,(100,2))

# make it a dataframe
df = pd.DataFrame(df)

# clustering with 3 clusters
from sklearn.cluster import KMeans
km = KMeans(n_clusters=3)
km.fit(df)
preds = km.predict(df)

# get centroids
centroids = km.cluster_centers_

# visualize
plt.scatter(df[0], df[1], c=preds)
plt.scatter(centroids[:,0], centroids[:,1], c=range(centroids.shape[0]), s=1000)

给予

现在距离矩阵：

from scipy.spatial import distance_matrix

dist_mat = pd.DataFrame(distance_matrix(df.values, centroids))

您可以通过以下方式确认这是正确的

dist_mat.idxmin(axis=1) == preds

最后，到质心的平均距离：

dist_mat.groupby(preds).mean()

给予：

          0         1         2
0  0.243367  0.525194  0.571674
1  0.525350  0.228947  0.575169
2  0.560297  0.573860  0.197556

其中列表示质心数，行表示聚类中点的平均距离。

Answer 2

您可以使用scipy.spatial.distance.cdist创建距离矩阵：

from scipy.spatial.distance import cdist
dm = cdist(df, centroids)

这应该给您一个二维数组，其中每一行代表原始数据集中的观测值，每一列代表一个质​​心。第y列中的第x行给出了第x个观测值与第y个聚类质心之间的距离。 cdist默认使用欧几里得距离，但是您可以使用其他指标（对于只有一个功能的数据集来说，这并不重要）。