无法在具有队列的进程之间共享大对象

时间:2017-01-28 03:57:11

标签: python multiprocessing

在python中,我有一些大型对象(pandas dataframe,具体而言)需要使用多处理模块从子进程传输到主进程。当对象的内存大小约为1Gb时,一切正常。然而,然后对象变得像5Gb一样大,子进程在主进程从队列“获取”对象之后就随着其内存使用而消失,并且主进程永远不会获得内存使用所示的对象。这是Python的错误吗?周围有解决方案吗?

0 个答案:

没有答案