有没有一种方法可以为句子否定执行自定义 TFIDF？

Question

我使用 TFIDF 来计算文章之间的相似度，但我有一个问题，它认为这两个句子是相似的：

I am against this project
I am for this project

我怎样才能改进我的方法来考虑这句话的否定？

Answer 1

有一次我不得不遇到这个问题。通常使用 tf-idf 很难解决这个问题，而您需要更复杂的 NLP 模型，即 BERT，来查找句子在语义上是相似还是相反。但如果您的用例与您的示例类似，您可以执行以下操作。

我假设你的文章/文件/句子就这么简单。所以通常你会遇到两种意义相反的句子。一种是使用 n't/not 标记，其他类型只是使用相反的词。使用 nltk 库，您可以查找两个句子中是否存在含义相反的单词（反义词）。然后你就可以轻松决定了。

Answer 2

我添加了 msayef 的评论。您可能还想考虑 negative adverbs。