Gensim多核LDA溢出错误

时间:2017-03-19 01:05:34

标签: python-3.x python-multiprocessing multicore gensim lda

我遇到了在gensim中运行多路LDA的问题(生成2000个主题,使用15个工作人员进行1次传递)。我得到下面的错误,我最初认为它可能与保存模型没有关系,但是看错误(代码仍然在运行,至少进程还没有退出)。 任何人都知道我可以做些什么来防止这种错误发生?

python3 run.py --method MultiLDA --ldaparams 2000 1 --workers 15 --path $DATA/gender_spectrum/

Traceback (most recent call last):
   File "/usr/lib64/python3.5/multiprocessing/queues.py", line 241, in _feed
   obj = ForkingPickler.dumps(obj)
   File "/usr/lib64/python3.5/multiprocessing/reduction.py", line 50, in dumps
   cls(buf, protocol).dump(obj)
OverflowError: cannot serialize a bytes object larger than 4 GiB```

0 个答案:

没有答案