什么是在Spark Shell中获取Spark驱动程序内存的命令

Question

我知道可以通过spark-env.sh文件获取与spark相关的配置，但是从spark-shell获取它的命令是什么？ 例如，要获取spark.driver.memory，我应该使用

set spark.driver.memory 

以上操作无效

Answer 1

您可以在启动spark-shell时提供内存作为配置

spark-shell --conf spark.driver.memory=2g

这将启动一个具有2g驱动程序内存的Spark Shell。为了在Spark Shell中访问它，您可以执行以下操作。

val conf = sparkContext.getConf
val driverMemory = conf.get("spark.driver.memory")

这将返回String = 2g。