火花执行器记忆减少到1/2

Question

我正在做这样的火花提交     spark-submit --class com.mine.myclass --master yarn-cluster --num-executors 3 --executor-memory 4G spark-examples_2.10-1.0.jar

在web ui中，我可以看到确实有3个执行器节点，但每个节点都有2G内存。当我设置--executor-memory 2G时，ui每个节点显示1G。

如何将我的设置减少1/2？

Answer 1

Web UI的执行程序页面显示了存储内存量，默认情况下等于Java堆的54％（spark.storage.safetyFraction 0.9 * spark.storage.memoryFraction 0.6）