Hadoop没有利用可用内存

时间:2015-08-02 04:09:51

标签: hadoop yarn cloudera-cdh

我有一个2节点集群(每个节点有32 GB RAM和8个核心)。 我已经安装了CDH 5.4。 但我不认为hadoop正在使用可用内存,因为页面:8088 / cluster / apps在“内存总计”列中仅显示16 GB。 只有一次我能看到“内存总量”为64GB,不知道最新情况如何。 可能是什么原因?

谢谢, Baahu

1 个答案:

答案 0 :(得分:4)

您必须配置每个节点可用于纱线的内存。此设置位于yarn-site.xml中。有一些属性可以控制可以在nodemanager中为容器分配分配的最大内存。好像你使用的值是8GB(默认值)。将以下属性设置为更高的值。

yarn.nodemanager.resource.memory-mb

同样对于核心,还有另一个属性

yarn.nodemanager.resource.cpu-vcores. 

在所有节点的yarn-site.xml中设置这些属性后,重新启动纱线群集。这将增加nodemanager内存共享。除此之外,还有更多属性可用于调整群集。有关详细信息,请访问此url