更改纱线火花中执行者的最小堆大小

时间:2016-12-01 20:03:26

标签: java apache-spark yarn

我想在纱线上运行spark时更改执行程序的初始/最小堆大小。现在它抛出以下异常,

  

java.lang.Exception:不允许spark.executor.extraJavaOptions改变内存设置

我在运行spark-shell时使用以下--conf "spark.executor.extraJavaOptions=-Xms4096m"

我正在使用spark 1.6.0。非常感谢帮助!

1 个答案:

答案 0 :(得分:1)

来自docs

spark.executor.extraJavaOptions
  

请注意,使用此选项设置Spark属性或堆大小设置是非法的。应使用SparkConf对象或spark-submit脚本使用的spark-defaults.conf文件设置Spark属性。可以使用spark.executor.memory设置堆大小设置。

试试这个--conf "spark.executor.memory=4g"