我正在本地集群模式下测试一个spark程序:我已将spark.home属性设置为$ SPARK_HOME(指向spark安装目录)。我已经使用spark.history.fs.logDirectory指向文件:/ tmp / spark-events启动了spark历史记录服务器。但是,当我成功执行测试并退出时。历史服务器不显示任何内容,/ tmp / spark-events文件夹为空。如何让spark历史服务器识别我在本地集群模式下运行的spark程序?
答案 0 :(得分:3)
使用spark.eventLog.enabled
Spark属性启用Spark测试中的事件收集并重新开始。