应用程序配置中的setMaster与sparkSubmit上的--master标志之间产生火花差异或冲突

Question

我正在尝试了解在运行spark应用程序时设置master属性的重要性。

群集位置位于默认端口7077.我正在从测试机运行此应用程序，它将在s3存储桶中运行。

目前应用中的spark配置为：

val sparkConf = new SparkConf()
.setMaster("spark://127.0.0.1:7077")  

但我也在命令行上使用spark submit设置标志：

--master spark://127.0.0.1:7077

那么，这两种设置都会导致问题吗？一个被另一个覆盖了吗？它们都是必要的吗？

Answer 1

  

那么，这两种设置都会导致问题吗？有人得到   被另一个覆盖？它们都是必要的吗？

Spark Configuration页面非常明确（强调我的）：

  

将传递指定为flags或属性文件中的任何值   在应用程序上并与通过指定的那些合并   SparkConf。 直接在SparkConf上设置的属性最高   优先级，然后传递给spark-submit或spark-shell的标志   spark-defaults.conf文件中的选项。一些配置键有   自早期版本的Spark以来已重命名;在这种情况下，年纪越大   密钥名称仍然被接受，但优先级低于任何密钥   新密钥的实例。