如何发送Spark驱动日志到历史服务器? (独立模式)

时间:2020-02-14 07:40:38

标签: apache-spark

我们许多以群集模式运行的Spark应用程序由于驱动程序错误而失败。我设置了一个火花历史记录服务器,该服务器从 spark.eventLog.dir 中读取,一切正常,该历史记录服务器能够重建应用程序UI,但找不到驱动程序日志。

我还检查了 spark.eventLog.dir 下列出的应用程序列表,但是所有内容都以app-****开头,我找不到任何驱动程序-****** 。

如何配置要发送到 spark.eventLog.dir 的驱动程序日志?

0 个答案:

没有答案