如何更改独立Master JVM的堆大小？

Question

我正在使用Spark 1.4.0。我的spark master JVM遇到了OOM错误，所以我想增加master的堆大小。我想知道如何正确指定它？

我尝试了以下操作，但失败了，JVM仍然以默认值运行：

spark-env.sh
export SPARK_MASTER_OPTS="$JAVA_OPTS -Xms1g -Xmx1g"

Answer 1

使用SPARK_DAEMON_MEMORY增加堆大小，即-Xms和-Xmx选项。默认情况下为1g。

以SPARK_DAEMON_JAVA_OPTS形式使用-Dx=y作为Spark master和worker守护程序本身的JVM选项（默认值：无）。

使用SPARK_PRINT_LAUNCH_COMMAND查看Spark脚本的整个命令行。