word2vec中的skip-gram模型是N-Gram模型的扩展版本吗？跳过克与跳过克？

Question

word2vec的skip-gram模型使用浅层神经网络来学习嵌入有（输入词，上下文词）数据的词。当我阅读有关跳过语法模型的教程时，没有提到有关N-gram的内容。但是，我遇到了一些在线讨论，人们声称--- word2vec中的skip-gram模型是 N-Gram 模型的扩展版本。另外，在下面的维基百科页面上，我真的不太理解这个“ k-skip-n-gram ”。

Wikipedia引用了1992年的论文“ skip-grams ”，所以我想这不是word2vec的skip-gram模型，对吗？关于此“跳过语法”的另一篇论文是https://homepages.inf.ed.ac.uk/ballison/pdf/lrec_skipgrams.pdf。这非常令人困惑。为什么没人能解决这个问题。

维基百科资源和在线讨论如下：

• https://en.wikipedia.org/wiki/N-gram#Skip-gram

• https://www.quora.com/What-are-the-continuous-bag-of-words-and-skip-gram-architectures

• https://www.quora.com/What-is-a-skip-gram-model-Why-is-it-better-than-other-language-models-And-how-does-it-work

Answer 1

我同意在这里命名有点棘手。 您可以在此处查看教程。

https://www.kdnuggets.com/2018/04/implementing-deep-learning-methods-feature-engineering-text-data-skip-gram.html

因此，在word2vec中，它是最简单的skip-gram变体，我们可以将整个语料库呈现成对，包括我们要用我们的神经网络预测的目标词和输出词。 因此，我们的word2vec模型的window-4句子“快速的棕色狐狸跳过了懒狗”和“棕色”一词可能表示为： （target_word，word_to_predict） （棕色，快速） （棕色） （棕色，狐狸） （棕色，跳跃） 然后，我们移至下一个单词“ fox”，依此类推。 因此，我们使用跳跃语法来训练我们的神经网络。我以前没有看过“ k-skip-n-gram”，但据我了解，我们有4个skip-bigrams