使用默认主文件创建spark上下文的惯用方法

Question

是否有一种惯用的方法来创建一个火花上下文，如果没有提供其他主人，那么默认会有一些后退主人吗？

e.g。

new SparkContext(defaultMaster = "local[4]") 

如果我运行这个，让我们说，spark-submit并指定一个master作为CLI参数，或者通过一个env变量，它将使用它，但如果我运行它而没有指定任何东西，它将默认为我提供的上方。

是否有内置的方法来实现这一目标？ （我有解决方法，但我想知道这种行为是否存在共同模式）

Answer 1

您可以使用以下内容：

val conf = new SparkConf()
conf.setIfMissing("spark.master", "local[4]")

val sc = new SparkContext(conf)

Answer 2

您可以在Spark目录中的 conf/spark-defaults.conf 中设置默认主网址 要么 使用：

val conf = new SparkConf()
conf.setMaster("local[4]")
val sc = new SparkContext(conf)

无论何时使用 - master 设置主网址，它都会覆盖默认值。