如何在集群中保留Spark Worker和主节点的历史记录，例如已完成的应用程序，已完成的驱动程序。重新启动后，所有这些历史记录都会丢失。有没有用于维护历史记录的特定配置。
在spark-defaults.conf中启用了Spark事件日志
spark.eventLog.enabled true
spark.eventLog.dir file:////app/spark/logs/data/event_log_dir
但仍然无法保留历史记录
答案 0 :(得分：0)
有收件箱解决方案-Spark History Server
https://spark.apache.org/docs/latest/monitoring.html#viewing-after-the-fact
答案 1 :(得分：0)
Spark UI仅在应用程序运行时可用。 有一个Spark History Server工具，可让您在应用程序完成后查看UI。
更多信息在Spark文档中： Spark: Monitoring and Instrumentation - Viewing After the Fact