在分布式集群上运行python代码

Question

我需要使用python并行运行5000个文件的numpy计算。我已经实现了顺序单机版本。并行运行代码的最简单方法是什么（比如使用ec2集群）？我应该编写自己的任务调度程序和作业分发代码吗？

Answer 1

您可以查看pscheduler Python模块。它将允许您排队作业并按顺序运行它们。并发进程的数量取决于可用的CPU核心。该程序可以轻松扩展并将作业提交到远程计算机，但随后将要求所有远程计算机都使用NFS。

我很乐意为您提供进一步的帮助。