Question

有些配置让我感到困惑，比如

spark.dynamicAllocation.enabled = true  
spark.dynamicAllocation.minExecutors = 3
spark.eventLog.dir=/home/rabindra/etl/logs
SPARK_WORKER_DIR=/home/knoldus/work/sparkdata

这些spark i的变量将使用spark-env.sh或spark-defaults.conf？我们在spark独立集群中可以做什么配置？

Answer 1

前三个进入spark-defaults.conf。最后一个进入spark-env.sh，如Knoldus example所示 - 可能就是您正在使用的那个。

我想类比可能是JVM参数和环境变量之间的区别。如documentation所示，要应用于SparkConf的配置（如应用程序名称，主服务器的URI或内存分配）位于 per-application 基础。

同时，无论是与Spark还是其他任何相关的环境变量都适用于 per-machine 。当然，有时您使用环境变量指定的机器特定设置也属于您的资源管理器，如YARN。

配置参数列表很大。请参阅上面链接的文档了解更多信息。

spark的配置和env变量有什么区别？

1 个答案: