fasttext skipgram和word2vec skipgram有什么区别？

Question

给出一个句子“ hello world”，词汇是

{hello，world} + {，}，

为方便起见，只列出所有4克。

以我的理解，单词2vec跳过图将最大化

快速文本跳过图会做什么？

Answer 1

tl; dr

优化标准相同，不同之处在于模型获取单词向量的方式。

使用公式

Fasttext优化了与标准Skipgram模型相同的条件（使用FastText paper中的公式）：

具有使优化计算有效的所有近似技巧。最后，他们得到了：

所有词 w _c 上都有一个总和，并使用一些负样本 n 近似分母。关键区别在于函数 s 。在原始的跳过语法模型中，它是两个单词嵌入的点积。

但是，在FastText情况下，函数 s 被重新定义：

单词 w _t 表示为单词组成的所有n-grams z _g 的总和加上单词本身的向量。基本上，您不仅要使单词，而且还要使它的所有子字符串在给定的上下文窗口中都可能出现。