在群集上并行执行shell脚本

时间:2015-11-05 19:29:11

标签: python shell parallel-processing distributed-computing

我有一堆需要执行的shell脚本。目前,它们在一台机器上连续运行,这需要很长时间。

脚本之间没有依赖关系。我想在群集上并行执行它们。在集群的每个节点中,我希望并行执行多个脚本,利用多个核心。

在python中执行此操作的最佳方法是什么?我想写一个在一台机器上运行的python程序,并在集群上的其他机器上生成任务。

如果python不是最好的解决方法,我也想知道其他解决方案

1 个答案:

答案 0 :(得分:0)

我不确定您想要什么样的进度信息。试试这些并解释它们如何不符合您的目的。

parallel --results outputdir --progress -S server1,server2 ::: script1.sh script2.sh script*.sh
parallel --results outputdir --joblog - -S server1,server2 ::: script1.sh script2.sh script*.sh