如何找到句子的相似性？

Question

如何找到任何两个给定句子之间的语义相似度？

例如： ron howard直接拍电影的是什么？

由罗恩·霍华德执导的电影。

我知道这是一个难题。但是，想问专家的意见。 我不知道如何使用词性来实现这一目标。 http://nlp.stanford.edu:8080/parser/index.jsp

Answer 1

这是一个广泛的问题。我个人会去cosine similarity。

您需要将句子转换为矢量。要将句子转换为向量，您可以考虑几个规则，例如出现次数，顺序，同义词等。然后按照提到的余弦距离here

您还可以探索finding associated words的弹性搜索。您可以创建自定义分析器，词干分析器，标记器，过滤器（如同义词）等，这对查找类似的句子非常有帮助。 Elasticsearch还提供more like this query，使用tf-idf分数查找类似的文档。