当我们使用 toDebugString ()时,我希望获得火花作业的血统信息以激发显示血统的方式。
我不想使用网络ui来查看dag,但我希望在日志文件等中提供相同的信息。
我正在查询spark rest api(http://:18080 / api / v1)以获得一些指标,我想获得火花作业的血统信息,但它没有api。
火花是否记录了哪些信息?
除了使用web ui之外,有没有办法在某些类似 toDebugString()的格式中获取已完成或失败的作业的线索信息?
我正在使用spark java api。