将spark事件日志写入本地文件系统而不是hdfs

时间:2016-02-10 17:40:49

标签: apache-spark filesystems event-log

我想将我的spark应用程序的事件日志重定向到本地目录,例如“/ tmp / spark-events”,而不是“hdfs:// user / spark / applicationHistory”< / strong>即可。

我在cloudera manager(Spark客户端高级配置代码段(安全阀)中将"spark.eventLog.dir"变量设置为“file:/// tmp / spark-events”以获得spark-conf /火花defaults.con)。
但是当我重新启动spark时,spark-conf包含(spark.eventLog.dir = hdfs:// nameservice1file:/// tmp / spark-eventstmp / spark),这不起作用。

0 个答案:

没有答案