更改纱线火花中执行者的最小堆大小

Question

我想在纱线上运行spark时更改执行程序的初始/最小堆大小。现在它抛出以下异常，

  

java.lang.Exception：不允许spark.executor.extraJavaOptions改变内存设置

我在运行spark-shell时使用以下--conf "spark.executor.extraJavaOptions=-Xms4096m"。

我正在使用spark 1.6.0。非常感谢帮助！

Answer 1

来自docs

的spark.executor.extraJavaOptions

  

请注意，使用此选项设置Spark属性或堆大小设置是非法的。应使用SparkConf对象或spark-submit脚本使用的spark-defaults.conf文件设置Spark属性。可以使用spark.executor.memory设置堆大小设置。

试试这个--conf "spark.executor.memory=4g"