我最近发现了简单的多处理任务有多棒Pool.map()
,但我的本地机只有两个处理器,我希望利用一些远程计算资源。
是否可以构建处理池以透明方式使用远程计算机以及本地计算机?
我需要在远程计算机上运行哪些python代码,如何在本地(主)计算机上设置池?
在the documentation page for multiprocessing上,它说管理器将用于共享对象,但我不清楚如何将它们用于远程池。除了Managers之外,没有任何东西可以提及端口和地址,所以我猜测所有远程活动都是通过这个类发生的。
答案 0 :(得分:2)
multiprocessing.Pool
似乎不是为分布式处理而设计的 - 如果这是您想要做的,我建议您查看execnet
包。这适用于SSH管道,并在必要时将代码发送到远程Python解释器。