我一直在Java Spark Project(Spark版本1.6.1)中使用dataframe。 现在我正在重构,尝试使用数据集以利用它们附带的强类型功能。 在项目的某些部分,我使用了以下代码:
dataframe.registerTempTable("table")
为了使用纯SQL查询。
这种功能看起来没有数据集,我找不到他们提供的任何类似方法。
你能证实吗?
答案 0 :(得分:1)
我确认spark 1.6中有 no method 可用于使用数据集注册临时表或视图。
https://spark.apache.org/docs/1.6.0/api/java/org/apache/spark/sql/Dataset.html
这些方法是在spark 2.0中引入的。
https://spark.apache.org/docs/2.0.0/api/java/org/apache/spark/sql/Dataset.html
答案 1 :(得分:0)
public void createOrReplaceTempView(String viewName)
使用给定名称创建本地临时视图。此临时视图的生命周期与用于创建此>的SparkSession相关联。数据集。
参数:
viewName - (未记录)
自:
2.0.0