在从日志中完成作业后如何获得spark job的lineage / dag信息?不是来自网络用户界面

时间:2017-11-03 19:31:57

标签: apache-spark

当我们使用 toDebugString ()时,我希望获得火花作业的血统信息以激发显示血统的方式。

我不想使用网络ui来查看dag,但我希望在日志文件等中提供相同的信息。

我正在查询spark rest api(http://:18080 / api / v1)以获得一些指标,我想获得火花作业的血统信息,但它没有api。

火花是否记录了哪些信息?

除了使用web ui之外,有没有办法在某些类似 toDebugString()的格式中获取已完成或失败的作业的线索信息?

我正在使用spark java api。

0 个答案:

没有答案