Mesos上的Hadoop只使用一个节点?

时间:2015-06-26 16:46:24

标签: hadoop mesos

我已在5个节点上成功设置了Mesos 0.22.1群集。我可以在所有从属节点上运行Marathon和Chronos任务。现在我正在尝试使用Mesos Scheduler运行Hadoop作业。我跟着非常好tutorial,我可以运行wordcount测试工作。但是当我尝试运行一些更大的工作(使用Camus将数据从Kafka加载到HDFS)时,作业正在运行而没有错误,但是只使用一个节点和一个任务跟踪器,尽管它总共有30个映射作业,并且我的节点配置为并行运行2个地图作业。

我错过了什么? Jobtracker不应该在eash节点上使用2个Map插槽将所有可用节点上的任务拆分为并行运行吗?

奇怪的是 - 在Jobtracker网页集群摘要报告中只有1个可用节点。这是正确的行为吗?

非常感谢任何想法!

0 个答案:

没有答案