我想将我的spark应用程序的事件日志重定向到本地目录,例如“/ tmp / spark-events”,而不是“hdfs:// user / spark / applicationHistory”< / strong>即可。
我在cloudera manager(Spark客户端高级配置代码段(安全阀)中将"spark.eventLog.dir"
变量设置为“file:/// tmp / spark-events”以获得spark-conf /火花defaults.con)。
但是当我重新启动spark时,spark-conf包含(spark.eventLog.dir = hdfs:// nameservice1file:/// tmp / spark-eventstmp / spark),这不起作用。