Question

在文档聚类过程中，作为数据预处理步骤，我首先应用奇异向量分解来获得U，S和Vt，然后选择合适的数量我截断Vt的特征值，现在给我一个很好的文档 - 文档相关性，从我读到here。现在我在矩阵Vt的列上执行聚类以将类似的文档聚集在一起为此我选择了k-means并且初始结果看起来对我来说是可接受的（k = 10个簇）但我想挖一个更深入地选择k值本身。要确定k-means中的聚类数量k，我需要suggested来查看交叉验证。

在实现它之前，我想弄清楚是否有一种使用numpy或scipy实现它的内置方法。目前，我执行kmeans的方式是简单地使用scipy中的函数。

import numpy, scipy

# Preprocess the data and compute svd
U, S, Vt = svd(A) # A is the TFIDF representation of the original term-document matrix

# Obtain the document-document correlations from Vt
# This 50 is the threshold obtained after examining a scree plot of S
docvectors = numpy.transpose(self.Vt[0:50, 0:]) 

# Prepare the data to run k-means
whitened = whiten(docvectors)
res, idx = kmeans2(whitened, 10, iter=20)

假设到目前为止我的方法是正确的（如果我错过了一些步骤，请纠正我），在这个阶段，使用输出执行交叉验证的标准方法是什么？关于如何将其应用于k-means的任何参考/实施/建议将不胜感激。

Answer 1

要进行k折交叉验证，您需要一些质量指标来优化。这可以是分类度量，例如准确度或F₁，也可以是专门的度量，例如V-measure。

即使我所知的聚类质量测量也需要标记数据集（“基础事实”）才能工作;与分类的不同之处在于，您只需要为评估标记部分数据，而k-means算法可以使用所有数据来确定质心，从而确定聚类。

V-measure和several other scores在scikit-learn中实现，以及通用cross validation代码和“网格搜索”模块，该模块根据使用k-fold CV的指定评估度量进行优化。 免责声明：我参与了scikit-learn开发，但我没有写任何提到的代码。

Answer 2

确实，要使用F1-score或V-Measure作为评分函数进行传统的交叉验证，您需要一些标记数据作为基本事实。但在这种情况下，您可以只计算地面实况数据集中的类数，并将其用作K的最佳值，因此无需进行交叉验证。

或者，您可以使用群集稳定性度量作为无监督性能评估，并为此执行某种交叉验证过程。然而，即使它仍然在我个人的待办事项列表中，这还没有在scikit-learn中实现。

您可以在以下answer on metaoptimize.com/qa中找到有关此方法的其他信息。特别要阅读Clustering Stability: An Overview by Ulrike von Luxburg。

Answer 3

在这里，他们使用insss查找最佳数量的群集。 “ withinss”是返回的kmeans对象的属性。那可以用来找到最小的“错误”

https://www.statmethods.net/advstats/cluster.html

wss <- (nrow(mydata)-1)*sum(apply(mydata,2,var))
for (i in 2:15) wss[i] <- sum(kmeans(mydata, 
   centers=i)$withinss)
plot(1:15, wss, type="b", xlab="Number of Clusters",
  ylab="Within groups sum of squares")

这个公式不完全正确。但是我自己一个人。该模型仍然会每次更改，但至少是一堆迭代中最好的模型。

k-fold交叉验证用于确定k均值k？

3 个答案: