说我有两个句子,除了只有一个具有相反含义的不同单词外,它们是相似的。例如"I like her"
与"I hate her"
。
word2vec
用于我的分类项目。据我所知,word2vec
似乎无法弄清反义词之间的区别。有什么办法解决这个问题?
答案 0 :(得分:0)
不幸的是,在word2vec坐标空间中,我们认为的“反义词”通常非常相似。这是因为 在几乎所有方面都非常相似-除了它们强调的 之外。
此外,在一定程度上,这些对比可以被word2vec方向捕获,它们将处于许多不同的方向。 “冷”对“冷”的对比将不同于“浅”对“暗”和“小”对“大”。
在词向量集上可能有一些分析技术可以帮助发现反义方向/对,但是我没有注意到所讨论的一种,特别是没有任何简单/直观或适用于一般词向量集的东西。 (一旦您确实知道单词是相反的,例如在咨询先前带有标签的词典或类比问题时,则单词矢量之间的方向可能在其他分析中很有用,例如发现与其他单词形成对比的单词,方式,例如解决类比问题时。)
您能否更详细地说明最终目标,并提供更多示例,说明您将拥有的输入种类以及要软件报告的特定结果?
您提供的一个示例"I like her"
与"I hate her"
可以更普遍地视为一种情感分类,而使用word2vec的分类器可以做到这一点(尽管距离完美)应对此类挑战。也就是说,有了足够的带标签的训练数据,带有大量“正”和“负”文本示例的分类器将倾向于了解“喜欢”(和类似单词)为肯定,而“讨厌”(和类似单词)为否定,并对肯定/否定陈述的其他变体形式(包括否定,微妙的限定词,轻描淡写,反讽等更复杂的构造除外)执行“确定”
因此,有关您确切希望检测/报告的内容以及您尝试过和发现不足的更多信息,可能会产生有关如何实现此目的的更多想法。