无法增加Max Application Master资源

Question

我正在使用uhopper/hadoop泊坞窗图片来创建纱线群集。我有3个节点，每个节点有64GB RAM。我添加了配置。我给了32GB 到纱线。因此总簇内存为96GB。

 -    name: YARN_CONF_yarn_scheduler_minimum___allocation___mb
      value: "2048"
    - name: YARN_CONF_yarn_scheduler_maximum___allocation___mb
      value: "16384"
    - name:  MAPRED_CONF_mapreduce_framework_name
      value: "yarn" 
    - name: MAPRED_CONF_mapreduce_map_memory_mb
      value: "8192"
    - name: MAPRED_CONF_mapreduce_reduce_memory_mb
      value: "8192"
    - name: MAPRED_CONF_mapreduce_map_java_opts
      value: "-Xmx8192m"
    - name: MAPRED_CONF_mapreduce_reduce_java_opts
      value: "-Xmx8192m"
    - name: YARN_CONF_yarn_nodemanager_resource_memory___mb
      value: "32768"

最大应用程序主资源为10240 MB。我运行了5个火花作业，每个3 GB驱动程序内存，2个作业从未进入RUNNING状态，因为10240MB。我无法充分利用我的硬件。

如何增加Max Application Master Resources内存？

Answer 1

我希望，我找到答案，如果您更改yarn.scheduler.capacity.maximum-am-resource-percent，那么 Max Application Master Resources 将会更改。以下是来自 docs.hortonworks.com

的 Setting Application Limits 文档

让我知道它是否有效。

Answer 2

要更改最大应用程序主资源，您必须更改yarn.scheduler.capacity.maximum-am-resource-percent的百分比，默认情况下为0.2，即分配给Yarn的内存的20％。

如果我没看错，则YARN的总内存为10240 MB（10GB），如果Application Master可以使用的最大百分比为20％，则它将分配给AM 2GB。

现在，如果您想为应用程序主服务器分配更多的内存，则只需增加百分比即可。但是建议您的AM百分比不要超过0.5。希望现在可以清楚地说明这一点。