为什么Spark History Server没有在本地群集模式下显示已完成的应用程序?

时间:2015-10-18 20:25:57

标签: apache-spark

我正在本地集群模式下测试一个spark程序:我已将spark.home属性设置为$ SPARK_HOME(指向spark安装目录)。我已经使用spark.history.fs.logDirectory指向文件:/ tmp / spark-events启动了spark历史记录服务器。但是,当我成功执行测试并退出时。历史服务器不显示任何内容,/ tmp / spark-events文件夹为空。如何让spark历史服务器识别我在本地集群模式下运行的spark程序?

1 个答案:

答案 0 :(得分:3)

使用spark.eventLog.enabled Spark属性启用Spark测试中的事件收集并重新开始。