在Spark提交命令中创建session vs时的Spark master

时间:2017-06-01 11:24:52

标签: apache-spark apache-spark-2.0

如果我在创建spark-submit时在 SparkSession 命令和课程中设置,哪个优先?

示例命令:

spark-submit --class sample-class --master yarn-cluster --name sample-app  jar-path arg1 arg2

sample-class的有用代码:

SparkSession session = SparkSession.builder().appName("sample-app")
                .config("spark.sql.warehouse.dir", "/apps/hive/warehouse").master("local[*]").enableHiveSupport()
                .getOrCreate();

如果我在两种情况下都设置了不同的,会发生什么。

0 个答案:

没有答案