Spark从subscribe读取默认配置。
使用（例如）$SPARK_HOME/conf/spark-defaults.conf时，您还可以使用--properties-file [FILE]命令行参数更改默认位置。
我想要做的是从文件加载其他参数而不必替换默认参数。也就是说，我希望spark从spark-submit加载属性并从另一个文件加载更多属性。现在，如果两者都定义了属性，我宁愿最后一个配置文件获胜。
Spark支持默认支持吗？
答案 0 :(得分：3)
tl;博士编号
如Spark documentation中所述，以下是配置的首选顺序：
“直接在SparkConf上设置的属性取最高优先级，然后将标志传递给spark-submit或spark-shell，然后选择spark-defaults.conf文件中的选项。”
鉴于此，我会在我的驱动程序代码中使用Typesafe Config来加载自定义配置文件并设置我在SparkConf上直接找到的内容。在那里设置的任何内容都将优先于其他地方的任何先前配置。