Python34 word2vec.Word2Vec OverFlowError

时间:2015-07-08 07:48:58

标签: python-3.x windows-7-x64 integer-overflow gensim word2vec

我正在研究word2vec,但是当我使用word2vec来训练文本数据时,会发生Numpy的OverFlowError。

消息是,

$('document').ready(function(){
    $( ".tp-caption.black:contains('.000000')" ).text('.1111111');
});

你能告诉我案件吗?

我的机器是x64,操作系统是Windows 7,但python34是32位。 numpy和scipy也是32位。

1 个答案:

答案 0 :(得分:0)

我也是这样。看起来gensim在dev分支中有一个潜在的解决方法。

https://github.com/piskvorky/gensim/commit/726102df66000f2afcea82d95634b055e6521dc8

这并没有解决在不同硬件之间导航和安装int大小的核心问题,但我认为它应该可以缓解这一特定行的问题。

必要的变更涉及转出

model.vocab[w].sample_int > model.random.randint(2**32)

model.vocab[w].sample_int > model.random.rand() * 2**32

这可以避免在randint中创建的64位/ 32位int问题。

更新:我手动将该更改合并到我的gensim安装中,它可以防止错误。