如何在Spark Submit命令中将多个-D参数传递给driver-java-options

时间:2019-05-22 15:05:33

标签: java command-line apache-spark-2.0

我正在使用java方法(即Runtime.getRunTime().exec("<SPARK_SUBMIT_COMMAND>").

)运行spark-submit命令

spark-submit命令类似于:

spark-submit \
--driver.java.options "-Dapp.name=abc -Dapp.id=123" \
--class com.abc.test.AppLauncher \
Spark-App.jar \
<Other required application parameters> 

如果我直接从unix终端(从jar所在的目录位置开始执行),上面的命令就很好了

当我从Runtime.getRunTime()。exec(“”);运行相同的命令时; 它给出以下错误:

无法识别的选项:-Dapp.id = 123

有人可以帮我解决这个问题吗?

我尝试了以下选项,但它们不起作用:  --conf“ spark.driver.extraJavaOptions = -Dapp.name = abc -Dapp.id = 123”    --conf“ spark.executor.extraJavaOptions = -Dapp.name = abc -Dapp.id = 123”

0 个答案:

没有答案