Hadoop与迪斯科VS.秃鹰？

Question

我正在尝试找到一个工具来管理群集中100台计算机上的大量作业（将作业提交给计算机;确保运行作业等）。

安装/管理哪个工具更简单：

(1) Hadoop?

(2) Disco?

(3) Condor?

理想情况下，我正在寻找一种尽可能简单但又健壮的解决方案。 Python整合也是一个优势。

Answer 1

我不熟悉Disco和Condor，但我可以回答有关Hadoop的问题：

Hadoop专业人士：

• 健壮且经过验证 - 可能比其他任何东西更重要。许多组织（包括我工作的组织）使用它来运行100多个节点的集群等。
• 大型生态系统=支持+许多子项目，使生活更轻松（例如Pig，Hive）
• Python支持应该可以通过流式MR功能，或者也许是Jython？

Hadoop缺点：

• 既不简单也不优雅（imho）。你将不得不花时间学习。

Answer 2

您是否考虑过Sun Grid Engine？ http://wikis.sun.com/display/GridEngine/Home。