如何访问spark提交的非应用程序参数？

Question

来自this链接：

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

main-class中的scala代码如何访问application-jar之前指定的参数？

Answer 1

这是不可能的。您可以做的最接近的事情是从SparkSession对象获取spark-submit示例中定义的属性的值。

spark.conf.get("spark.master") //master
spark.conf.get("spark.submit.deployMode") //deploymode
this.getClass.getClassName // main class :) 

或者在spark-submit周围创建一个包装器脚本，它将所有参数作为应用程序参数传递给主类。