Question

我有12核和28GB RAM的服务器。我正在运行两个版本的Python;一个具有多处理和另一个顺序。与Sequential.py相比，我希望Multiprocessing.py能够提前完成，但与顺序代码（25秒）相比，多处理代码需要5倍（120秒）

Multiprocessing.py

import os,multiprocessing,time
def cube(x):
    print(x**3)
    return
if __name__ == '__main__':
    jobs = []
    start = time.time()
    for i in range(5000):
        p = multiprocessing.Process(target=cube(i))
        jobs.append(p)
        p.start()
    end = time.time()
    print end - start

Sequential.py

import os,time
def cube(x):
    print(x**3)
    return
if __name__ == '__main__':
    start = time.time()
    for i in range(5000):
        cube(i)
    end = time.time()
    print end - start

你能帮帮忙吗？

Answer 1

问题是相对于IPC通信开销而言，工作量太少。

cube 函数不适合多处理加速。尝试一下＆＃34;更有趣＆＃34;就像计算1到n或多数的立方体之和的函数一样：

import os, multiprocessing, time

def sum_of_cubes(n):
    return sum(x**3 for x in range(n))

if __name__ == '__main__':

    from multiprocessing.pool import ThreadPool as Pool

    pool = Pool(25)

    start = time.time()
    print(pool.map(sum_of_cubes, range(1000, 100000, 1000)))
    end = time.time()
    print(end - start)

一般规则是：

不要启动更多的池，而不是核心可以从中受益
不传递大量数据或返回大量数据（过多的IPC负载）
在相对于IPC开销的过程中做了大量工作。

Answer 2

你不应该为每次乘法启动一个过程。启动12个流程并将每个流程传递给数字，或者在创建流程时分发数字。

如果您了解我相当肯定您会在创建和清理流程中花费所有时间。

另外：我已经测试了运行多少进程和核心数量，最佳情况取决于体系结构（例如，某些英特尔芯片每个核心有2个线程）和操作系统（Linux似乎比Windows更好地处理它）。如果你在Windows上，我建议尝试0.8-2.2x核心数的进程计数。在Linux上，你可以做更多。

Answer 3

你想试试游泳池吗？例如，以下内容应该有效：

来自多处理导入池

p = Pool（12）

结果= p.map（立方体，范围（5000））

Python多处理需要更多时间

3 个答案: