标签： python subprocess cluster-computing
我的目标是生成N个调用外部软件（在python脚本之外）的进程，这些进程将字符串作为输入，包括来自numpy数组的N条数据之一。输出必须按数组中的顺序重新排序。我想在使用Slurm调度的hpc群集上的许多节点上执行此操作。
我曾尝试使用mpi4py和subprocess来完成这项任务，但是注意到存在延迟，这很可能是由于产生了这么多子进程（大约5000个）。 >
mpi4py
subprocess
我想知道是否有人可以有效，高效地跨节点使用subprocess？