有没有一种使用bash向集群提交作业的好方法？

Question

使用bash shell在Linux机器上有没有一个好的工具？我只需要在集群中的一组节点上发出不同的命令，当其中一个完成该作业时，我想提交另一个。与Hadoop可以做的非常相似的东西。我也有兴趣知道工作的状态，但即便如此也是如此。有什么建议吗？

Answer 1

Sun Grid Engine和Mosix等程序将允许您立即提交所有作业并自动对它们进行负载平衡（这意味着它会将它们排队，以便一次只能在给定节点上运行正确的数字）。

我在科学计算方面有很好的经验（在Linux上使用bash）并且强烈推荐。

Answer 2

还有parbash（Parallel Bash）：

http://code.google.com/p/parbash/

Answer 3

您也可以使用挂载的NFS / SMB分区并自行编写一些脚本。