Python多处理池进程限制

时间:2019-01-07 09:28:54

标签: python process multiprocessing pool

我正在使用多处理池来创建多个进程来运行程序。我正在将两个重量级对象(每个磁盘上的磁盘大小约为3.5 GB)加载到父进程中,然后由池化工作进程使用它们生成输出(Linux系统,因此使用写时复制机制)。每个合并的进程都写入一个在所有进程之间共享的文件。 我的问题是,在36核心系统上,我达到了一定数量的合并进程(估计为10个)的性能。当我超过该数目时,使用那些重对象的程序部分的执行开始将花费越来越多的时间,并且多处理会损失性能。对于这种现象是否有任何具体的科学方法?还是总是保证通过更多的合并过程获得性能提升? 谢谢。

0 个答案:

没有答案