句子意思相似性和频率

Question

我有一套动词/句子，我想要做的是......如果两个句子具有相同的含义，那些句子应该被原来的句子取代，之后我会接受这类句子的频率。

我有没有办法在NLTK中做到这一点？欢迎并赞赏这方面的任何建议。 我正在寻找NLP方法。 感谢

Answer 1

我会考虑使用一些更新的单词/文档嵌入方法来获得句子相似性，例如：

• https://www.tensorflow.org/hub/modules/google/universal-sentence-encoder/1
• https://github.com/facebookresearch/StarSpace - 最近此实施已添加到RASA NLU - https://github.com/RasaHQ/rasa_nlu/blob/master/rasa_nlu/classifiers/embedding_intent_classifier.py
• https://github.com/commonsense/conceptnet-numberbatch
• http://alt.qcri.org/semeval2017/task1/ - 这是与NLP任务相关的年度竞赛，语义文本相似性也在那里。它可能是一个非常好的想法来源。

一方面，句子嵌入可以用来轻松地比较句子，另一方面，你有词嵌入，可以平均/总结得到整个句子嵌入。为了比较句子矢量，可以使用诸如余弦相似度的度量。

Answer 2

我发现了一些可能能够就如何解决这个问题提供一些想法的论文。他们使用WordNet，这是一个可以用来检查单词相似性的语料库，它可以在NLTK上找到：

1. Corley，Courtney和Rada Mihalcea。 “测量文本的语义相似性。”关于语义对等和蕴涵经验建模的ACL研讨会论文集。计算语言学协会，2005年。 - ＆GT;在文本层面翻译单词到单词的相似性，我相信你可以将它用于句子。 （https://aclanthology.info/pdf/W/W05/W05-1203.pdf）

2. Honeck，Richard P.“句子之间的语义相似性。”心理语言学研究杂志2.2（1973）：137-151。 - ＆GT;这是另一篇计算句子之间相似性得分的论文。

我只浏览了这两篇论文，但似乎第一篇论文顺序使用了句法和语义相似技术，而第二篇论文并行使用了它们。

1. Miller，George A.和Walter G. Charles。 “语义相似性的语境相关性。”语言和认知过程6.1（1991）：1-28。 - ＆GT;这是一篇语言学论文，可以让你更好地理解如何比较句子的语义相似性，以防前两种方法不适合你，你必须提出自己的解决方案。

祝你好运，希望这有帮助！