“负采样”如何提高word2vec中的单词表示质量？

Question

在 word2vec 中进行

负采样可以提高训练速度，这很明显！

但是为什么“ 使单词表示形式更加准确。”？

我没有找到相关的讨论或细节。你能帮我吗？

Answer 1

如果没有声明出现的全部上下文，很难描述该声明的作者可能意味着什么。例如，单词向量可以针对不同的任务进行优化，而使单词向量更好地完成一项任务的相同选项可能会使它们对另一项任务更糟。

自Google最初的论文和代码发布以来，一种评估词向量的流行方法是一系列词类问题。这些给出了很好的可重复的汇总“准确度”百分比，因此作者可能是说，对于特定的训练语料库，在该特定问题上，如果将其他条件保持不变，则负采样模式的“准确度”得分较高。

但这并不意味着对于任何语料库或其他任何对质量或完成任务准确性的下游评估，它总是会更好。

语料库较大的项目，尤其是词汇量较大（更独特的词）的项目，倾向于使用负采样模式。词汇量变大时，分层-softmax替代模式会变慢，而负采样模式则不会。

而且，拥有大量多样的语料库，并且所有有趣的单词都有许多微妙的用法示例，是真正好的单词向量的最重要贡献者。

因此，简单地通过在有限的训练时间内使较大的语料库易于管理，就可以将负采样视为间接地改善了词向量，因为语料库大小是一个重要因素。