为什么我的hadoop集群中仅运行两个容器?

时间:2018-10-18 02:01:34

标签: hadoop mapreduce yarn oozie phoenix

我在mapred-site.xml中设置了mapreduce.map.memory.mb 256MB和mapreduce.reduce.memory.mb 256MB。 您可以在下面的图片中查看yarn-site.xml和更多详细信息。 enter image description here

所以,我的问题是当我在hadoop上放置12个作业时,为什么最多只运行2个容器?<​​/ p>

值得一提的是,我通过oozie工作流程将它们全部放入。并且有3个类型为java main的作业(我们将其称为jobA,jobB和jobC),它将调用Phoenix的CsvBulkLoadTool.class的main方法,这会将另一个mapreduce作业放置到hadoop中(我们将其称为jobA',jobB) ',jobC')。并且jobA在jobA完成之前被阻止。

更糟糕的是,还有其他作业被阻止,其中的日志告诉我AM正在等待RM分配资源。但是确实确实有闲置资源。

因此,如果始终最多只运行两个容器,那么我将无法访问目标。

0 个答案:

没有答案