spark-defaults.conf中的spark。{driver，executor} .memory和spark-env.sh中的SPARK_WORKER_MEMORY之间有什么区别？

Question

我打算在Spark上进行一项实验。

有两个配置文件：spark-defaults.conf和spark-env.sh

在spark-defaults.conf中，有spark.driver.memory和spark.executor.memory。

在spark-env.sh中，有SPARK_WORKER_MEMORY。

我应该控制哪一个来调整内存容量？ （我在独立模式下使用spark-1.6.0版本）

Answer 1

spark-default.conf，此属性文件用作默认设置文件，spark-submit脚本使用该文件在集群中启动应用程序。 spark-submit脚本加载spark-defaults.conf中指定的值并将它们传递给您的应用程序。 注意：如果在spark-env.sh中定义环境变量，那些值将覆盖您在spark-defaults.conf中设置的任何属性值

取决于您的配置和文件选择 使用“spark.executor.memory”或“SPARK_WORKER_MEMORY”     “spark.driver.memory”或“SPARK_DRIVER_MEMORY”