是否有一种惯用的方法来创建一个火花上下文，如果没有提供其他主人，那么默认会有一些后退主人吗？
e.g。
new SparkContext(defaultMaster = "local[4]")
如果我运行这个，让我们说，spark-submit并指定一个master作为CLI参数，或者通过一个env变量，它将使用它，但如果我运行它而没有指定任何东西，它将默认为我提供的上方。
是否有内置的方法来实现这一目标？ （我有解决方法，但我想知道这种行为是否存在共同模式）
答案 0 :(得分：3)
您可以使用以下内容：
val conf = new SparkConf()
conf.setIfMissing("spark.master", "local[4]")
val sc = new SparkContext(conf)
答案 1 :(得分：0)
您可以在Spark目录中的 conf/spark-defaults.conf 中设置默认主网址
要么
使用：
val conf = new SparkConf()
conf.setMaster("local[4]")
val sc = new SparkContext(conf)
无论何时使用 - master 设置主网址，它都会覆盖默认值。