为什么我们需要两个不同的conf文件？

Question

我们在Spark中有两个配置文件

1. 火花defaults.conf
2. spark-env.sh

这两个文件有什么区别？ 我们可以同时使用相同的火花应用吗？

Answer 1

• spark-env.sh ：设置所有系统环境变量，例如SPARK_YARN_USER_ENV SPARK_HOME等等。这些环境变量是火花安装工作所必需的正常。 spark-env.sh是一个shell脚本文件

• spark-defaults.conf ：此文件设置所有火花配置，例如 spark.local.dir，spark.yarn.jars。这些配置是火花作业正常运行所必需的。以下内容来自Spark的文档。

  

bin / spark-submit还将从中读取配置选项   conf / spark-defaults.conf，其中每一行由一个键和一个键组成   由空格分隔的值。例如：

  spark.master            spark://5.6.7.8:7077
  spark.executor.memory   4g
  spark.eventLog.enabled  true
  spark.serializer        org.apache.spark.serializer.KryoSerializer Any values specified as

     

标志或属性文件中的标志将传递给应用程序   并与通过SparkConf指定的那些合并。属性设置   直接在SparkConf上取最高优先级，然后传递标志   火花提交或火花壳，然后选择   spark-defaults.conf文件。一些配置键已重命名   自早期版本的Spark;在这种情况下，旧的密钥名称   仍被接受，但优先级低于任何实例   更新的钥匙。