Question

我在hadoop 2.6.0上使用YARN。当我运行mapreduce作业时，我得到了这样的错误：

15/03/12 22:22:59 INFO mapreduce.Job: Task Id : attempt_1426132548565_0003_m_000002_1, Status : FAILED
Error: Java heap space
15/03/12 22:22:59 INFO mapreduce.Job: Task Id : attempt_1426132548565_0003_m_000000_1, Status : FAILED
Error: Java heap space
15/03/12 22:23:20 INFO mapreduce.Job: Task Id : attempt_1426132548565_0003_m_000002_2, Status : FAILED
Error: Java heap space
Container killed by the ApplicationMaster.

我错误配置java.opts属性。是因为该配置错误吗？ yarn-site和mapred-site上的内存设置之间是否有任何关联？

我很困惑，我需要你的建议全部谢谢

Answer 1

当容器超过内存/ CPU使用量时，它将被应用程序主机终止。在您的情况下，映射器可能正在使用多余的内存。尝试添加以下配置：

在mapred-site.xml中：

 <property>
   <name> mapreduce.map.memory.mb </name>
   <value>1024</value>
   <description>Enter The amount of memory to request from the scheduler for each map task. </description>
 </property>

默认值为1024，尝试将其增加到2048。

我建议您在更改配置后重新启动群集

YARN hadoop错误java堆空间

1 个答案: