与org.apache.spark.sql.execution等效的pyspark软件包是什么？

Question

我有以下代码，位于PySpark中，

df1 = spark.range(2, 10000000, 2)
df2 = spark.range(2, 10000000, 4)
step1 = df1.repartition(5)
step12 = df2.repartition(6)
step2 = step1.selectExpr("id * 5 as id")
step3 = step2.join(step12, ["id"])
step4 = step3.selectExpr("sum(id)")
step4.collect()

我想使用Scala软件包中的step4.queryExecution.debug.codegen。谁能指出我当前的软件包。

Answer 1

API的这一部分未在PySpark中公开，但可以通过内部JVM对象进行访问：

step4._jdf.queryExecution().debug().codegen()