使用The Glove方法时谈论skip-gram和cbow是否有意义？

Question

我正在尝试不同的单词嵌入方法，以便选择最适合我的方法。我试过word2vec和FastText。现在，我想试试Glove。在word2vec和FastText中，有两个版本：Skip-gram（从单词预测上下文）和CBOW（从上下文预测单词）。但是在Glove python包中，没有参数可以让你选择是否要使用skipg-gram或Cbow。

鉴于Glove与w2v的工作方式不同，我想知道：在使用The Glove方法时谈论skip-gram和cbow是否有意义？

先谢谢

Answer 1

不是，skip-gram和CBOW只是两个Word2vec模型的名称。它们是浅层神经网络，通过从单词预测上下文来生成单词嵌入，反之亦然，然后将隐藏层的输出视为向量/表示。 GloVe使用不同的方法，通过对共生矩阵进行训练而不是局部上下文窗口来利用语料库的全局统计。