gensim

时间:2015-12-13 09:15:04

标签: gensim word2vec

我目前正在使用gensim来重现Google提供的示例结果。 here

问题是gensim的准确性测试与Google的结果不符。

例如,Google资本共同国家的准确率为82.02%,不同参数集的最佳结果为64.4%。这里有一个很大的差距。

以下是使用gensim

列车word2vec和准确度的代码段
sentences = word2vec.Text8Corpus('./text8')
model = word2vec.Word2Vec(sentences, size=200, workers=12, min_count=5, sg=0, window=8, iter=15, sample=1e-4, negative=25)
model.accuracy("./questions-words.txt")[enter image description here][2]

Google演示的代码段,不更改任何参数

 ./demo-word-accuracy.sh

Accuracy comparison detail

有人可以为此提供帮助吗?

1 个答案:

答案 0 :(得分:4)

尝试alpha=0.05cbow_mean=1。在CBOW模式下,word2vec.c代码会自动切换到默认值,但gensim不会。为了减少混淆的根源,gensim可能会更加贴近未来的word2vec.c默认值:https://github.com/piskvorky/gensim/issues/534