我们正在尝试使用spark历史记录服务器来进一步改善我们的火花作业。 spark作业正确地将事件日志写入HDFS,并且spark历史服务器也可以访问此事件日志:我们确实在spark历史服务器作业列表中看到该作业,但除了环境变量和执行程序之外,一切都是空的... 关于我们如何使spark历史服务器显示所有内容的任何想法(我们真的想看到DAG)? 我们正在使用spark 1.4.1。
感谢。
答案 0 :(得分:0)
我有类似的问题。我正在使用ssh
端口转发浏览历史记录服务器。授予日志目录中所有文件的读取权限后,它们将显示在我的历史记录服务器中!
cd {SPARK_EVENT_LOG_DIR}
chmod +r * # grant the read permission to all users for all files