Hadoop在Maui + Torque集群中

Question

我有一个Torque + Maui的集群。是否可以在同一群集中安装Hadoop？如果可能，这样做的利弊是什么？

Answer 1

这可能是一个很好的起点：

http://hadoop.apache.org/docs/r0.18.3/hod.html

我个人没有使用它，但我听说没有积极维护。

从我看到的情况来看，Hadoop有自己的调度程序，它希望在Hadoop文件系统所在的地方运行一组Hadoop节点。这通常是一个持久性环境，因此您可以加载文件系统一次（大数据）并将您的作业分配给碰巧保存所需数据副本的节点。 Torque倾向于从集群中获取任何一组空闲节点，将它们分配给作业，运行作业，然后清理下一个作业的环境。这与Hadoop的设计背道而驰。

我可以看到，拥有一个可以同时充分利用您已有系统的环境，但管理层充其量只会是混乱的。