如何跨多个节点分发python脚本

时间:2014-09-11 16:13:41

标签: python cluster-computing distributed

我的办公室里有一些我想用来部署Python脚本的机器。

我的想法是我有一台管理python脚本部署的中央机器,每个节点都与该中央机器通信以获取新脚本等。

脚本之间没有依赖关系,它们只能运行(刮擦)并在本地存储结果。

我不知道从哪里开始。我有一些关于编写自动执行此操作的应用程序的想法,但我无法想象我是唯一一个尝试这样做的人。

-G。

2 个答案:

答案 0 :(得分:0)

一些值得注意的事情。您甚至可能不需要管理节点。我已经运行了具有管理节点和不具有管理节点的计算。根据您的群集,可能更容易qsub一个shell脚本。为此,群集中通常有内存。

以下是IPython的其他替代方案列表,但Peter Sutton对IPython的推荐很棒。

http://mpi4py.scipy.org/docs/usrman/intro.html

答案 1 :(得分:0)

如果你仍在寻找一个长期的解决方案(或者这可以回答人们的服务器),我建议。我假设,你想要一些解决方案不仅仅是一次性任务,而是长期管理(如果我弄错了,请纠正我)。

使用配置管理工具 - 根据您的情况,单个管理节点,仅部署.py脚本,

我建议使用 Ansible 。 使用Anisble,您可以从控制器节点开始,制作清单(主机/机器列表),并在所有节点/机器上共享控制器的公钥。

以下是一些非常简单的英文博客:

免责声明:我是上述博文的作者。