spark中首选哪些配置选项？

Question

我想询问哪个配置选项在spark中具有优先权？它是配置文件还是我们在运行spark-submit shell时手动指定的选项？ 如果我的配置文件中有不同的执行程序内存选项，并且在运行spark-submit shell时指定了不同的值，该怎么办？

Answer 1

Spark （1.5.0）configuration page清楚地说明了优先事项：

  

直接在SparkConf上设置的属性取最高优先级，然后将标志传递给spark-submit或spark-shell，然后选择spark-defaults.conf文件中的选项。

所以这是优先顺序（从最高到最低）：

• 在 SparkConf （在程序中）设置的属性。
• 标志传递给spark-submit或spark-shell。
• spark-defaults.conf文件中设置的选项。