标签: apache-spark
我们许多以群集模式运行的Spark应用程序由于驱动程序错误而失败。我设置了一个火花历史记录服务器,该服务器从 spark.eventLog.dir 中读取,一切正常,该历史记录服务器能够重建应用程序UI,但找不到驱动程序日志。
我还检查了 spark.eventLog.dir 下列出的应用程序列表,但是所有内容都以app-****开头,我找不到任何驱动程序-****** 。
如何配置要发送到 spark.eventLog.dir 的驱动程序日志?