在Spark 1.4.x中。如何使用spark-submit选项设置驱动程序的系统属性？

Question

在Spark＆lt; 1.3.x中，驱动程序的系统属性可以通过--conf选项设置，在设置spark属性和系统属性之间共享：

spark-submit --conf xxx.xxx=vvvvv

在Spark 1.4.0中删除了此功能，驱动程序改为记录以下警告：

Warning: Ignoring non-spark config property: xxx.xxx=vvvvv 

如何在1.4.0中设置驱动程序的系统属性？是否有理由在没有弃用警告的情况下将其删除？

非常感谢您的建议。

Answer 1

336f7f5373e5f6960ecd9967d3703c8507e329ec中引入了此行为，并在https://issues.apache.org/jira/browse/SPARK-7037中进行了JIRA讨论。根据JIRA以前版本的spark-submit，只是默默地忽略了不以spark.开头的conf选项。您可以设置spark.driver.extraJavaOptions以获得所需的选项（取决于您要完成的任务）。