我想在纱线上运行spark时更改执行程序的初始/最小堆大小。现在它抛出以下异常,
java.lang.Exception:不允许spark.executor.extraJavaOptions改变内存设置
我在运行spark-shell时使用以下--conf "spark.executor.extraJavaOptions=-Xms4096m"
。
我正在使用spark 1.6.0。非常感谢帮助!
答案 0 :(得分:1)
来自docs
的spark.executor.extraJavaOptions
请注意,使用此选项设置Spark属性或堆大小设置是非法的。应使用SparkConf对象或spark-submit脚本使用的spark-defaults.conf文件设置Spark属性。可以使用spark.executor.memory设置堆大小设置。
试试这个--conf "spark.executor.memory=4g"