如何在EMR集群中的yarn-site.xml中插入配置

时间:2018-05-22 20:21:33

标签: apache-spark hadoop emr

我遇到问题:

running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container.

我的群集是:4x c3.4xlarge(datanode)和m3.2xlarge(namenode),我的配置相同,我只有1.4GB可用。

要解决这一点我在此网站https://www.knowru.com/blog/first-3-frustrations-you-will-encounter-when-migrating-spark-applications-aws-emr/和其他网站上阅读,重点是更改yarn-site.xml并添加此配置yarn.nodemanager.vmem-check-enabled

但是,当我更改此配置,保存并重新启动EMR中的资源管理器时,此配置未应用于配置页面(EMR namenode:8088 / conf)并且不起作用,但默认情况下配置创建为EMR接受更改。 / p>

如何在运行群集EMR的情况下更改配置?

我已经看到此设置只需要在群集创建中配置,它真的吗?

我怎么能欺骗这个?

1 个答案:

答案 0 :(得分:0)

我正在接受此错误running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container,因为我的火花驱动程序正在使用默认配置,我将此--driver-memory 5g配置放在我的spark-submit jar中并解决了我的问题。

仅在我的情况下才是这样。