纱线:如何使纱线利用更多的内存和vcores

时间:2017-02-03 03:32:03

标签: hadoop yarn hadoop2

我们有一个由Yarn管理并运行hadoop

的5节点集群

1个主名称节点8个vcores和24GB内存

4个数据节点,每个8个vcores和24GB内存

当我看到ui上的Yarn配置时,如下图所示,它仅使用16GB和6个vcores

enter image description here

我们的应用程序正在使用所有的16gb,所以想要增加内存,因为它可用(24 - 2gb for os so avialable是22gb)

我需要在哪里配置这个22gb而不是16gb?

从研究发现,yarn-site.xml可能就是这个地方所以继续进行更新并重新启动纱线,但仍然显示16gb

如果我们刚接触纱线,社区中的任何专家都会提供帮助,我们会非常感激

这是yarn-site.xml

<configuration>

    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hdfs-name-node</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>21528</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>6</value>
    </property>

    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>21528</value>
    </property>

    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
    </property>

    <property>
        <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
        <value>500</value>
    </property>

    <property>
         <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
         <value>512</value>
    </property>

    <property>
        <name>yarn.nodemanager.address</name>
        <value>0.0.0.0:8039</value>
    </property>

    </configuration>

2 个答案:

答案 0 :(得分:1)

你的理解是完全错误的。根据附图,纱线使用的总内存为64GB,VCores为24。

图片中突出显示的部分是调度程序内存和vcores,由管理员为租户设计。

如果您是调度程序队列的一部分,则可以使用最大16 GB和6 Vcor​​es。

答案 1 :(得分:0)

根据图像,您的群集容量为64GB和24个vcores。

红色圆圈(实际为椭圆形;))显示为容量调度程序配置的资源。

  

我需要在哪里配置这个22gb而不是16gb?

您需要配置队列(前提是您具有相应的权限)。有关详情,请阅读this