Question

我正在运行一个火花作业（spark-submit）并且面临outOfMemory和open files内存问题。我一直在寻找无法找到任何有用的东西。

有人可以帮我增加亚马逊emr默认内存设置吗？

[hadoop@ip-10-0-52-76 emr]$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 31862
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 31862
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

增加java堆大小和打开文件大小将解决我的问题。

有关详细信息，我使用的是r3.4xlarge emr群集。感谢

Answer 1

在EMR中，您可以在 /etc/spark/conf/spark-defaults.conf 文件中更改内存设置。

如果任务超出了内存的意思，你应该增加执行程序的内存。请根据数据大小选择执行程序内存。

spark.executor.memory 5120M

Incase，驱动程序抛出outofmemory错误，可以增加驱动程序内存。

spark.driver.memory 5120M

Amazon Emr：无法增加默认内存设置

1 个答案: