我已经设置了一个简单的项目,可以通过spark实现过期。我用dse 4.6.2(3)。 当我使用以下命令提交jar时(在独立模式下不是纱线):
dse spark-submit --driver-java-options "-Dloggging.path=/home/$USER/log/" --class com.SimpleSparkApp my.jar
属性logging.path
出现在spark.driver.extrajavaoptions
中,所以我可以sys.pros.get("spark.driver.extrajavaoptions")
并解析字符串,显然不是最好的事情。另一方面,当我使用sys.props.get("loggging.path")...
不应该将属性应用于驱动程序的jvm吗? 有什么想法吗?