NodeManager的数量和DataNode的数量之间的关系是什么,所以我不能超出容器的物理内存绑定异常?
答案 0 :(得分:2)
节点管理器和数据节点关联
节点管理器数量与数据节点之间存在1:1的相关性。
Hadoop旨在确保计算(节点管理器)尽可能靠近数据(数据节点)运行。通常,作业的容器分配在存在数据的相同节点上。
因此,在典型的Hadoop集群中,数据节点和节点管理器都在同一台机器上运行。
记忆问题:
当yarn-site.xml
中的节点管理器相关设置错误时,通常会遇到内存问题。
要正确获取节点管理器设置,您可以查看此链接中提供的答案:MapReduce job hangs, waiting for AM container to be allocated。
检查yarn-site.xml
和mapred-site.xml
文件中指定的设置。
为了理解YARN配置的调整,我发现这是一个非常好的来源:http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cdh_ig_yarn_tuning.html