如何使用YARN内存和核心工作?

时间:2015-03-11 03:30:18

标签: hadoop frameworks mapreduce yarn hadoop2

之前,我已经阅读了关于hadoop YARN内存和核心参数的信息。但是,我仍然不清楚这个参数。还有关于容器。在1节点上只有1个容器或更多?在1个集群上只有1个Application Master或更多?

帮助我了解YARN上的容器,应用程序主机,内存和核心工作,

全部感谢.....

1 个答案:

答案 0 :(得分:0)

YARN Architecture

上图来自apache YARN web site。它清楚地解释了内部细节和功能。

我们在/ conf中的yarn-site.xml中设置YARN的参数。

属性yarn.nodemanager.resource.memory-mb可用于设置YARN在节点上可以使用的最大RAM量。

<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value> 

属性yarn.scheduler.minimum-allocation-mb可用于设置容器的最小内存量。例如,如果我们有16 GB的内存,yarn.nodemanager.resource.memory-mb是4GB。因此我们剩余12 GB,每个容器至少分配2GB,因此我们最多可以容纳6个容器。

<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>

从架构中你可以清楚地看到我们将拥有多个app master。