Spark:从逻辑计划中提取数据帧

时间:2017-05-03 14:42:23

标签: apache-spark dataframe sql-execution-plan

这行代码将dataFrame转换为逻辑计划

val logical = df.queryExecution.logical

我们可以采取相反的做法,即从逻辑计划中提取所使用的数据帧吗?

1 个答案:

答案 0 :(得分:1)

数据集对象中的

有一个方法:

def ofRows(sparkSession: SparkSession, logicalPlan: LogicalPlan)

因此,如果您有逻辑方案,可以通过调用Dataset.ofRows(sparkSession, logical)将其转换为DataFrame