createOrReplaceGlobalTempView和createOrReplaceTempView之间的区别

时间:2018-01-30 10:21:44

标签: apache-spark pyspark

我试图理解createOrReplaceGlobalTempView和createOrReplaceTempView之间的区别。

在2.0版本中引入了createOrReplaceTempView,在2.2中引入了createOrReplaceGlobalTempView。

根据文档,

for createOrReplaceGlobalTempView :此临时视图的生命周期与此Spark应用程序绑定。

对于 createOrReplaceGlobalTempView :此临时表的生命周期与用于创建此DataFrame的SparkSession相关联。

请您详细说明Spark Application和SparkSession的区别。

此致

Neeraj

1 个答案:

答案 0 :(得分:2)

标准临时表位于用户空间similarly to Hive

  

这些表中的数据存储在用户的暂存目录中,而不是存储在Hive仓库目录中。临时目录有效地充当用户的数据沙箱。

并且仅限于单个用户会话。

全局临时视图,以多个会话可以访问的方式不同,因此普通视图(可以全局访问,在全局临时数据库中注册)和临时视图(其范围是仅限一次会议。)