我正在尝试在Mac上以单独独立模式启用Spark历史记录服务器。我有一个spark-master服务正在运行,并且能够运行作业。我还有一个在localhost上运行的历史服务器服务。我可以在浏览器中查看它,但没有任何应用程序的记录。我只能假设我错过了一些配置bur我不知道是什么。有人可以建议如何配置历史服务器以使用本地独立Spark吗?
这是我的配置:
# spark.master spark://master:7077
spark.eventLog.enabled true
# spark.eventLog.dir hdfs://namenode:8021/directory
# spark.serializer org.apache.spark.serializer.KryoSerializer
# spark.driver.memory 5g
# spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
答案 0 :(得分:0)
目录spark-events拼写错误。我有火花事件。一旦我重命名它,我就能查看作业日志。