如何在网络中拆分python任务

Question

我有一个python程序，它执行几个独立且耗时的过程。 python代码通常是一个自动化程序，它通过popen调用几个批处理文件。

该程序目前需要几个小时，所以我想在多台机器上拆分它。如何通过Intranet网络将任务拆分为与python并行处理？

Answer 1

有许多Python并行化框架。只有两个选项：

• IPython

的并行计算工具

• 并行化框架jug

Answer 2

对于远程执行，您可以使用execnet。您是否也必须分发数据？

Answer 3

我可能会建议STAF。它被宣传为软件测试框架，但它允许跨多个PC（和多个平台）分发活动。您可以运行脚本，复制数据，并在多个会话之间轻松进行通信。最重要的是，与现有脚本集成相当容易。