Spark webUI - 完成的应用程序详细信息页面

Question

我在具有3个节点的独立群集上使用spark 1.1.0。

我想查看已完成的应用程序的详细日志，以便我在我的程序中设置：

set("spark.eventLog.enabled","true")
set("spark.eventLog.dir","file:/tmp/spark-events")

但是当我点击webui中的应用程序时，我得到了一个包含消息的页面：

  

找不到应用程序历史记录（app-20150126000651-0331）   在文件中找不到应用程序xxx $的事件日志：/ tmp / spark-events / xxx-1422227211500。您是否指定了正确的日志记录目录？

尽管该目录存在且包含3个文件：

APPLICATION_COMPLETE *，EVENT_LOG_1 *和SPARK_VERSION_1.1.0 *

有任何解决问题的建议吗？

感谢。

Answer 1

1. 为什么您的错误消息中的应用程序名称为xxx$，然后是xxx？这真的是Spark报道的吗？
2. 权限问题：检查您记录的目录是否可由运行Spark的用户读取和执行（并且内部文件也是可读的）。
3. 检查您是否正确指定了母版，即--master spark://<localhostname>:7077
4. 挖掘EVENT_LOG_1*文件。文件的最后一个事件（在最后一行）应该是＆＃34;应用程序完成＆＃34;事件。如果它没有，那么您的应用程序可能没有调用sc.stop()，尽管日志仍应显示出来。

Answer 2

我遇到了同样的错误＆＃34;您是否指定了正确的日志记录目录？＆＃34;对我来说，解决方法是添加一个＆＃39; /＆＃39;在＆＃39; spark.eventLog.dir＆＃39;的路径的尽头。即/ root / ephemeral-hdfs / spark-events /

>> cat spark/conf/spark-defaults.conf
    spark.eventLog.dir /root/ephemeral-hdfs/spark-events/
    spark.executor.memory   5929m