如何从pyspark检索RDD依赖项？

Question

如何从PySpark中检索RDD的依赖项？

Scala使用dependencies()方法：

public final scala.collection.Seq<Dependency<?>> dependencies()

我无法在PySpark RDD class中看到等效的方法。还有其他方法可以在PySpark中检索RDD依赖项吗？

我见过toDebugString方法。但这实际上只适用于交互式火花会议。

Answer 1

pyspark api包含您需要的信息。 toDebugString()是您正在寻找的方法

  

toDebugString（个体）
  此RDD的描述及其用于调试的递归依赖性。