Spark - 本地独立模式不会写入历史记录服务器

时间:2018-01-10 14:14:34

标签: apache-spark apache-spark-standalone

我正在尝试在Mac上以单独独立模式启用Spark历史记录服务器。我有一个spark-master服务正在运行,并且能够运行作业。我还有一个在localhost上运行的历史服务器服务。我可以在浏览器中查看它,但没有任何应用程序的记录。我只能假设我错过了一些配置bur我不知道是什么。有人可以建议如何配置历史服务器以使用本地独立Spark吗?

这是我的配置:

# spark.master spark://master:7077 
spark.eventLog.enabled true 
# spark.eventLog.dir hdfs://namenode:8021/directory 
# spark.serializer org.apache.spark.serializer.KryoSerializer 
# spark.driver.memory 5g 
# spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

1 个答案:

答案 0 :(得分:0)

目录spark-events拼写错误。我有火花事件。一旦我重命名它,我就能查看作业日志。