我目前正在使用gensim来重现Google提供的示例结果。 here
问题是gensim的准确性测试与Google的结果不符。
例如,Google资本共同国家的准确率为82.02%,不同参数集的最佳结果为64.4%。这里有一个很大的差距。
以下是使用gensim
列车word2vec和准确度的代码段sentences = word2vec.Text8Corpus('./text8')
model = word2vec.Word2Vec(sentences, size=200, workers=12, min_count=5, sg=0, window=8, iter=15, sample=1e-4, negative=25)
model.accuracy("./questions-words.txt")[enter image description here][2]
Google演示的代码段,不更改任何参数
./demo-word-accuracy.sh
有人可以为此提供帮助吗?
答案 0 :(得分:4)
尝试alpha=0.05
和cbow_mean=1
。在CBOW模式下,word2vec.c代码会自动切换到默认值,但gensim不会。为了减少混淆的根源,gensim可能会更加贴近未来的word2vec.c默认值:https://github.com/piskvorky/gensim/issues/534