在Spark上命名转换并在'解释计划'和“Spark UI'

时间:2017-12-19 09:23:02

标签: apache-spark spark-dataframe

在Spark中,我们可以通过setName命名RDD并在Spark UI上查看它们。 当我们使用Dataset / DataFrame API时,有什么办法可以做同样的事情吗? 我们可以命名转换吗? 我们可以在Explain Plan和Spark UI中看到这个名字吗?

1 个答案:

答案 0 :(得分:0)

dataset.createOrReplaceTempView(tableName)

sparkSession.sqlContext().cacheTable(tableName)

已经jira提出

https://issues.apache.org/jira/browse/SPARK-8480

https://issues.apache.org/jira/browse/SPARK-20539