有没有可能在不执行的情况下提取spark作业的DAG?

时间:2019-07-11 12:41:17

标签: apache apache-spark directed-acyclic-graphs

是否有可能在不执行或运行作业的情况下提取包含其所有组件(阶段和任务)的DAG?

我有个主意:在操作发生之前,我先提取与该操作相关的RDD的依赖项,然后从中创建DAG。

1 个答案:

答案 0 :(得分:0)

如果我的理解正确,rdd.toDebugString是您所需要的。