即使在spark-defaults中设置,也无法更改spark.driver.memory

时间:2019-06-20 08:15:38

标签: apache-spark configuration pyspark cluster-computing

我正在使用Amazon EMR集群,并且想更改驱动程序堆内存。
我对群集进行了以下配置:

WrappedArray[Array[String]]

但是,当我在spark UI中检查环境选项卡时,驱动程序内存仍保持固定为1000m,而其余部分已正确设置。我在做什么错了?
我正在使用10个r4.4xlarge机器集群。
谢谢。

0 个答案:

没有答案