如何在String对象上运行K-means算法？

Question

我正在开展一个项目，我需要根据它们的相似程度对句子进行分组。

例如，这些句子需要分组到一个群集中：

1. 苹果公司的第一季度收益仍然低于华尔街
2. Apple宣布2013年第一季度收入：创纪录的545亿美元收入。
3. Apple发布创纪录的收入和利润; iPhone销量增长近30％。

标题不断出现，因此我可能需要动态安排和修改群集。目前我使用Monge-Elkan算法来识别两个字符串的相似程度，但我不知道如何对它们进行聚类。

在互联网上搜索让我相信我需要使用K-Means算法对内容进行分组，但我不知道如何继续使用我的内容。

让事情变得有点复杂的是我将其托管在Google App Engine上，因此我无法使用文件系统。

Answer 1

编辑距离指标不太可能有效地模拟句子含义的相似性，我假设你正在追求。将文本的低级表示形式视为一串字符也是如此。

更好的方法是使用更高级别的表示，例如vector-space model。在这里，您收集句子集（语料库）中的所有独特单词，并将每个单词映射到一个数字。然后将每个文档（句子）表示为向量：

[w1_count，w2_count，...，wN_count]

其中第N个元素是给定句子中第N个单词（映射到数字N的单词）的计数。

现在你可以在这个数据集上运行k-means，但更好：

1. 处理数据，以便像“苹果”这样的重要单词被赋予更多权重，例如“开启”或“输入”。一种这样的技术是TF-IDF。然后用欧氏距离运行标准的k-means。

2. 更好的是，使用更高级别的工具，例如Latent Semantic Analysis或Latent Dirichlet Allocation。

如果你想使用你现有的方法，Simon G.的回答指出你正确的方向，并且在this question中回答了与距离转换的相似性。

Answer 2

首先，将你的相似性改为异方，以便将它们视为距离

其次，使用多维缩放库将距离更改为空间中的点。

第三，在空间点上使用常规的k-means。