我遇到问题:
running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container.
我的群集是:4x c3.4xlarge(datanode)和m3.2xlarge(namenode),我的配置相同,我只有1.4GB可用。
要解决这一点我在此网站https://www.knowru.com/blog/first-3-frustrations-you-will-encounter-when-migrating-spark-applications-aws-emr/和其他网站上阅读,重点是更改yarn-site.xml并添加此配置yarn.nodemanager.vmem-check-enabled
但是,当我更改此配置,保存并重新启动EMR中的资源管理器时,此配置未应用于配置页面(EMR namenode:8088 / conf)并且不起作用,但默认情况下配置创建为EMR接受更改。 / p>
如何在运行群集EMR的情况下更改配置?
我已经看到此设置只需要在群集创建中配置,它真的吗?
我怎么能欺骗这个?
答案 0 :(得分:0)
我正在接受此错误running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container
,因为我的火花驱动程序正在使用默认配置,我将此--driver-memory 5g
配置放在我的spark-submit jar中并解决了我的问题。
仅在我的情况下才是这样。