标签: apache-spark configuration pyspark cluster-computing
我正在使用Amazon EMR集群,并且想更改驱动程序堆内存。 我对群集进行了以下配置:
WrappedArray[Array[String]]
但是,当我在spark UI中检查环境选项卡时,驱动程序内存仍保持固定为1000m,而其余部分已正确设置。我在做什么错了? 我正在使用10个r4.4xlarge机器集群。 谢谢。