Datastax DSE:dse spark-submit忽略传递的java属性

时间:2015-04-07 07:52:30

标签: properties apache-spark datastax-enterprise

我已经设置了一个简单的项目,可以通过spark实现过期。我用dse 4.6.2(3)。 当我使用以下命令提交jar时(在独立模式下不是纱线):

dse spark-submit --driver-java-options "-Dloggging.path=/home/$USER/log/" --class com.SimpleSparkApp my.jar

属性logging.path出现在spark.driver.extrajavaoptions中,所以我可以sys.pros.get("spark.driver.extrajavaoptions")并解析字符串,显然不是最好的事情。另一方面,当我使用sys.props.get("loggging.path")...

搜索属性时,该属性不存在

不应该将属性应用于驱动程序的jvm吗? 有什么想法吗?

0 个答案:

没有答案