Spark Ui没有显示已完成的应用程序

Question

我使用Spark独立群集，虽然作业成功运行，但SparkUI未显示已完成的应用程序。请建议

Answer 1

当前屏幕截图显示了Spark Standalone Master UI。它显示了SparkUI当前正在运行的应用程序/驱动程序和已完成的应用程序的链接，但没有链接。

要查看SparkUI已完成的应用程序，您需要在spark-defaults.conf中进行以下配置：

spark.eventLog.enabled true
spark.history.fs.logDirectory file:///path/to/event-log-folder
spark.eventLog.dir file:///path/to/event-log-folder

您还需要启动sbin/start-history-server.sh以查看结果。它可能也用于查看正在运行的应用程序（在其UI上显示“显示不完整的应用程序”链接），但在高负载的Spark Master上，您会遇到一些延迟，结果会出现延迟。< / p>