NodeManager的Hadoop数和DataNodes的数量关系

时间:2016-07-13 18:56:59

标签: java hadoop yarn

NodeManager的数量和DataNode的数量之间的关系是什么,所以我不能超出容器的物理内存绑定异常?

1 个答案:

答案 0 :(得分:2)

节点管理器和数据节点关联

节点管理器数量与数据节点之间存在1:1的相关性。

  • 节点管理员管理作业所要求的容器
  • 数据节点管理数据

Hadoop旨在确保计算(节点管理器)尽可能靠近数据(数据节点)运行。通常,作业的容器分配在存在数据的相同节点上。

因此,在典型的Hadoop集群中,数据节点和节点管理器都在同一台机器上运行。

记忆问题:

yarn-site.xml中的节点管理器相关设置错误时,通常会遇到内存问题。

要正确获取节点管理器设置,您可以查看此链接中提供的答案:MapReduce job hangs, waiting for AM container to be allocated。 检查yarn-site.xmlmapred-site.xml文件中指定的设置。

为了理解YARN配置的调整,我发现这是一个非常好的来源:http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html