Apache Spark UI显示的存储内存少于--driver-memory选项中的设置

Question

我在运行spark-shell本地传递2G作为驱动程序内存：

alex@POSITRON /ssd2/spark-2.2.0-bin-hadoop2.7/bin $ bash spark-shell --master local --driver-memory 2G

运行起来之后，我会去火星用户界面进入＆＃34;环境＆＃34;选项卡，并在那里看到我的设置生效：

然后我去了＆＃34;执行官＆＃34;选项卡，它显示我只有956MB似乎是一个有效的设置：

你能否澄清这个956MB值的来源，因为我觉得我无法理解配置选项或UI数据？

Answer 1

您在Spark UI中看到的是可用于存储的内存，它只是总内存的一小部分（spark.memory.storageFraction，默认= 0.5）请参阅https://spark.apache.org/docs/latest/configuration.html#memory-management