Python的multiprocessing.Pool是否支持远程子进程?

时间:2011-04-11 08:22:47

标签: python multiprocessing

我最近发现了简单的多处理任务有多棒Pool.map(),但我的本地机只有两个处理器,我希望利用一些远程计算资源。

是否可以构建处理池以透明方式使用远程计算机以及本地计算机?

我需要在远程计算机上运行哪些python代码,如何在本地(主)计算机上设置池?

the documentation page for multiprocessing上,它说管理器将用于共享对象,但我不清楚如何将它们用于远程池。除了Managers之外,没有任何东西可以提及端口和地址,所以我猜测所有远程活动都是通过这个类发生的。

1 个答案:

答案 0 :(得分:2)

multiprocessing.Pool似乎不是为分布式处理而设计的 - 如果这是您想要做的,我建议您查看execnet包。这适用于SSH管道,并在必要时将代码发送到远程Python解释器。