RegisterTempTable使用数据集Spark Java

时间:2017-06-21 11:24:17

标签: apache-spark dataframe dataset

我一直在Java Spark Project(Spark版本1.6.1)中使用dataframe。 现在我正在重构,尝试使用数据集以利用它们附带的强类型功能。 在项目的某些部分,我使用了以下代码:

dataframe.registerTempTable("table")

为了使用纯SQL查询。

这种功能看起来没有数据集,我找不到他们提供的任何类似方法。

你能证实吗?

2 个答案:

答案 0 :(得分:1)

我确认spark 1.6中有 no method 可用于使用数据集注册临时表或视图。

https://spark.apache.org/docs/1.6.0/api/java/org/apache/spark/sql/Dataset.html

这些方法是在spark 2.0中引入的。

https://spark.apache.org/docs/2.0.0/api/java/org/apache/spark/sql/Dataset.html

答案 1 :(得分:0)

使用createOrReplaceTempView

  

public void createOrReplaceTempView(String viewName)

     

使用给定名称创建本地临时视图。此临时视图的生命周期与用于创建此>的SparkSession相关联。数据集。

     

参数:

     

viewName - (未记录)

     

自:

     

2.0.0