集群作业调度程序：工具

Question

我们正在尝试解决与群集作业调度程序相关的问题。

问题是以下我们有一组在集群中执行的python脚本，启动过程目前通过人工交互完成，我的意思是开始测试我们有一个bash脚本与之交互集群请求执行所需的资源。我们打算做的是建立一个自动启动过程（在它意识到它实现作业状态并基于等待作业结束，重新启动执行等等的意义上应该是合理的）。基本上我们必须在用户工作站和集群之间实现一个层。

另一个困难是我们的图层必须足够聪明才能与不同的集群作业调度程序进行交互。我们想知道是否存在帮助我们与集群交互的工具或框架，而无需处理每个集群调度程序的详细信息。我们在网上搜索过但我们找不到任何适合我们需求的东西。

顺便说一下，我们使用的编程语言是Python。

提前致谢！

溴.-

Answer 1

使用主管：http://supervisord.org/ 和芹菜http://www.celeryproject.org/ 一起

Answer 2

看看ipcluster_tools。文档很少但很容易使用。