Question

我在yarn-site.xml中添加了以下属性，为每个节点分配24 GB内存。

<property>
   <name>yarn.nodemanager.resource.memory-mb</name>
    <value>24576</value>
</property>
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>
<property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

我还在mapred-site.xml中添加了以下内容

<property>
   <name>mapreduce.map.memory.mb</name>
    <value>2048</value>
</property>
<property>
   <name>mapreduce.reduce.memory.mb</name>
    <value>4096</value>
</property>

现在我的节点确实显示了24 GB的已分配内存但是当我运行我的任务时，许多reduce任务在映射器完成之前启动并且所有任务都会失败。他们中的大多数都失败了这个例外：

15/04/13 17:34:05 INFO mapreduce.Job: Task Id : attempt_1428956863444_0001_m_000028_0, Status : FAILED
Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException:
org.apache.hadoop.util.Shell$ExitCodeException:
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:505)

相同的进程以每个节点8 GB的默认配置运行。这需要几个小时才能完成，但过去常常工作。我甚至无法让流程成功运行。

我需要更改其他配置吗？任何帮助将受到高度赞赏。

增加每个节点分配的内存时，Hadoop安装程序无法正常工作

0 个答案: