我遇到了在gensim中运行多路LDA的问题(生成2000个主题,使用15个工作人员进行1次传递)。我得到下面的错误,我最初认为它可能与保存模型没有关系,但是看错误(代码仍然在运行,至少进程还没有退出)。 任何人都知道我可以做些什么来防止这种错误发生?
python3 run.py --method MultiLDA --ldaparams 2000 1 --workers 15 --path $DATA/gender_spectrum/
Traceback (most recent call last):
File "/usr/lib64/python3.5/multiprocessing/queues.py", line 241, in _feed
obj = ForkingPickler.dumps(obj)
File "/usr/lib64/python3.5/multiprocessing/reduction.py", line 50, in dumps
cls(buf, protocol).dump(obj)
OverflowError: cannot serialize a bytes object larger than 4 GiB```