我正在使用java方法(即Runtime.getRunTime().exec("<SPARK_SUBMIT_COMMAND>").
spark-submit命令类似于:
spark-submit \
--driver.java.options "-Dapp.name=abc -Dapp.id=123" \
--class com.abc.test.AppLauncher \
Spark-App.jar \
<Other required application parameters>
如果我直接从unix终端(从jar所在的目录位置开始执行),上面的命令就很好了
当我从Runtime.getRunTime()。exec(“”);运行相同的命令时; 它给出以下错误:
无法识别的选项:-Dapp.id = 123
有人可以帮我解决这个问题吗?
我尝试了以下选项,但它们不起作用: --conf“ spark.driver.extraJavaOptions = -Dapp.name = abc -Dapp.id = 123” --conf“ spark.executor.extraJavaOptions = -Dapp.name = abc -Dapp.id = 123”