我可以从multiprocessing.Process获得返回值吗?

时间:2011-11-30 17:07:28

标签: python multiprocessing

我使用Python多处理模块在蒙特卡罗代码中实现了一些简单的并行性。我的代码看起来像:

montecarlos = [MonteCarlo(f,fargs) for fargs in farglist]
jobs = [multiprocessing.Process(mc) for mc in montecarlos]
for job in jobs: job.start()
for job in jobs: job.join()
results = [mc.results for mc in montecarlos]

然而,当我查看结果列表时,看起来monte carlo迭代器甚至还没有开始。我知道他们有,因为我可以在monte carlo步骤中打印出信息。所以我做的事情是愚蠢的。我原以为job.join()会保留结果列表,直到所有内容都运行,因此mc.results字段会被更新。

我意识到我没有告诉你我的蒙特卡洛例程的细节,并希望它无关紧要,而我所犯的错误在于我对多处理工作的解释。提前感谢您提供的任何帮助。

1 个答案:

答案 0 :(得分:40)

MonteCarlo对象已被pickle并发送到要运行的子进程 - 此进程中的.results属性未填充,因为从未运行过本地mc。 / p>

如果您创建multiprocessing.Queue,则可以将其传递到每个MonteCarlo作业中,当它完成时,应将结果放在那里。然后顶级可以等待队列中的值。 (在引擎盖下,这将对结果对象进行pickle和unpickle。)

result_queue = multiprocessing.Queue()
montecarlos = [MonteCarlo(result_queue, f,fargs) for fargs in farglist]
jobs = [multiprocessing.Process(mc) for mc in montecarlos]
for job in jobs: job.start()
for job in jobs: job.join()
results = [result_queue.get() for mc in montecarlos]