标签: apache-spark log4j hdfs mesos dcos
我正在尝试将hdfs中的自定义log4j.properties文件传递给使用spark cli启动的dcos作业。我已经尝试了任何可用的火花配置选项的排列(例如--conf spark.executor.extraJavaOptions=‘-Dlog4j.configuration=hdfs://conf/custom-log4j.properties’)但是没有办法让它工作,配置只是被忽略。
hdfs
spark
dcos
--conf spark.executor.extraJavaOptions=‘-Dlog4j.configuration=hdfs://conf/custom-log4j.properties’