我正在运行一个本地hadoop集群并尝试同时提交两个作业但我的第一个作业通过而第二个作业没有并且保持在UNASSIGNED状态直到第一个完成。我预感到存在记忆问题,但我无法弄明白。以下是我为容器,mapper,reduce,jvm等设置的值。
yarn.nodemanager.resource.memory-MB = 40960
yarn.scheduler.minimum分配-MB = 4096
yarn.scheduler.maximum分配-MB = 10240
mapreduce.map.java.opts = -Xmx5120m
mapreduce.reduce.java.opts = -Xmx5120m
mapreduce.map.memory.mb = 8192
mapreduce.reduce.memory.mb = 8192
其余属性获得了默认值。我的价值观有什么问题吗?还有什么我应该改变的吗?
答案 0 :(得分:0)
我解决了问题,因为'            属性。我将它设置为更高的值。
答案 1 :(得分:0)
您的datanode / slave配置是什么?您已指定为每个容器使用40GB内存。显然,您的datanode无法为多个容器分配内存。您可以根据自己的需要调整这些设置。请参阅docs中的yarn-default.xml。谢谢。