MapReduce作业停止执行

Question

我想在TeraSort群集上运行基于Hadoop的基准测试。脚本正在运行，首先它处于运行状态，但几分钟后它就陷入Accepted状态并且FinalStatus未定义。我想，这可能是一个资源问题，所以我修改了yarn-site.xml，如上所述。

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>8192</value>
  <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
</property>

<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>2048</value>
</property>

再次出现同样的问题。您还可以在上面看到有关此过程的一些图表。当工作进度条达到~9-15％时停止。

Answer 1

请验证为这些参数设置的值：

yarn.scheduler.maximum-allocation-mb，mapreduce.map.memory.mb，mapreduce.map.java.opts，mapreduce.reduce.memory.mb，mapreduce.reduce.java.opts

从yarn.scheduler.minimum-allocation-mb开始，为512MB。这将有助于调度程序以较小的增量为任务分配内存。

更新1： 这个链接有助于理解一些事情： https://www.mapr.com/blog/best-practices-yarn-resource-management

另外，根据您的环境设置输入分割大小。 为获得最佳读取性能，输入分割大小和块大小应相同。