无法在命令行的spark-submit中设置配置

Question

我正在尝试使用以下方法在Application jar中设置主URL：

val spark = SparkSession
  .builder()
  .master("spark://master:7077")
  .appName("TestApp")
  .config("spark.sql.warehouse.dir", "/tmp/spark-warehouse")
  .getOrCreate()

我尝试使用以下参数运行jar：

spark-submit -—num-executors 10 -—executor-memory 5G appJar.jar 

spark-submit不接受提供给jar的explict选项。在应用程序jar中设置主URL时，忽略每个其他配置？有人可以解释一下吗？

Answer 1

我认为正确的方法是给予 -

spark-submit --num-executors 10 --executor-memory 5G appJar.jar