平行的hadoop工作不会通过

时间:2015-06-01 17:17:47

标签: hadoop mapreduce hadoop2

我正在运行一个本地hadoop集群并尝试同时提交两个作业但我的第一个作业通过而第二个作业没有并且保持在UNASSIGNED状态直到第一个完成。我预感到存在记忆问题,但我无法弄明白。以下是我为容器,mapper,reduce,jvm等设置的值。

yarn.nodemanager.resource.memory-MB = 40960

yarn.scheduler.minimum分配-MB = 4096

yarn.scheduler.maximum分配-MB = 10240

mapreduce.map.java.opts = -Xmx5120m

mapreduce.reduce.java.opts = -Xmx5120m

mapreduce.map.memory.mb = 8192

mapreduce.reduce.memory.mb = 8192

其余属性获得了默认值。我的价值观有什么问题吗?还有什么我应该改变的吗?

2 个答案:

答案 0 :(得分:0)

我解决了问题,因为'            属性。我将它设置为更高的值。

答案 1 :(得分:0)

您的datanode / slave配置是什么?您已指定为每个容器使用40GB内存。显然,您的datanode无法为多个容器分配内存。您可以根据自己的需要调整这些设置。请参阅docs中的yarn-default.xml。谢谢。