我正在尝试评估具有不同度量标准的K均值生成的聚类，但不确定结果是否良好。
我有40个文档归为6类。 我首先将它们转换为tf-idf向量，然后通过K-均值（k = 6）将它们聚类。最后，我尝试通过不同的指标评估结果。
因为我有文件的真实标签，所以我尝试计算F1分数和准确性。但是我也想知道不需要真实标签（例如轮廓分数）的指标的性能。
对于F1得分和准确性，结果分别约为0.65和0.88，而对于轮廓得分，其结果仅为0.05，这意味着我可能具有重叠的聚类。
在这种情况下，我可以说结果可接受吗？还是应该尝试通过其他方法代替tf-idf来表示文档或其他要聚类的算法来解决重叠问题？
答案 0 :(得分：0)
有了如此小的数据集，您真的需要使用根据机会调整的度量。
执行以下操作：用整数1..6随机标记每个文档。 您获得的F1分数是多少？现在重复此100倍，您得到的最佳结果是什么？完全随机的结果可以在如此微小的数据上得分很高！
由于此问题，在群集中使用的标准量度是调整后的兰德指数（ARI）。 NMI也存在类似的调整：调整后的相互信息或AMI。但是AMI不那么常见。