对于Skip-gram word2vec训练样本如下:
Sentence: The fox was running across the maple forest
fox
一词为下一对训练用:
fox-run, fox-across, fox-maple, fox-forest
等。 CBOW w2v使用反向方法:
run-fox, across-fox, maple-fox, forest-fox
或对于forest
字:
fox-forest, run-forest, across-forest, maple-forest
所以我们得到了所有的对。如果在CBOW模式下进行训练时未指定目标词,则在使用gensim库训练期间,Skip-gram word2vec和CBOW w2v有什么区别?在这两种情况下,是否都使用所有成对的单词?
答案 0 :(得分:4)
仅skip-gram使用(context_word)->(target_word)
形式的训练对。
在CBOW中,训练示例为(average_of_multiple_context_words)->(target_word)
。因此,当反向传播单个训练示例中的错误时,多个上下文词会得到相同的纠正。