NLP - 将具有相同含义的词组合成一个

Question

我对NLP很新。我的问题是我可以使用NLP将具有相同含义的单词组合成一个，例如，考虑以下行;

1. It’s too noisy here
2. Come on people whats up with all the chatter
3. Why are people shouting like crazy
4. Shut up people, why are you making so much noise

正如人们所注意到的，这里的共同点是人们在抱怨噪音。

noisy, chatter, shouting, noise -> Noise

是否可以使用NLP使用公共实体对单词进行分组。我正在使用R来解决这个问题。

我使用了一个示例Twitter数据集，我的预期输出将是一个包含;

的表

 Noise
It’s too noisy here
Come on people whats up with all the chatter
Why are people shouting like crazy
Shut up people, why are you making so much noise

在发布此处之前，我确实在网上搜索了参考资料。任何建议或有价值的意见都会有很大帮助。

由于

Answer 1

你提到的问题更好地称为释义，并没有完全解决。也许如果你想要一个快速的解决方案，你可以开始替换同义词，wordnet可以帮助你。

其他想法是计算句子相似度（只是得到每个句子的向量表示使用余弦距离来衡量相互之间的相似性）

我认为this paper可以为您的问题提供一个很好的介绍。