我有一堆需要执行的shell脚本。目前,它们在一台机器上连续运行,这需要很长时间。
脚本之间没有依赖关系。我想在群集上并行执行它们。在集群的每个节点中,我希望并行执行多个脚本,利用多个核心。
在python中执行此操作的最佳方法是什么?我想写一个在一台机器上运行的python程序,并在集群上的其他机器上生成任务。
如果python不是最好的解决方法,我也想知道其他解决方案
答案 0 :(得分:0)
我不确定您想要什么样的进度信息。试试这些并解释它们如何不符合您的目的。
parallel --results outputdir --progress -S server1,server2 ::: script1.sh script2.sh script*.sh
parallel --results outputdir --joblog - -S server1,server2 ::: script1.sh script2.sh script*.sh