我试图理解createOrReplaceGlobalTempView和createOrReplaceTempView之间的区别。
在2.0版本中引入了createOrReplaceTempView,在2.2中引入了createOrReplaceGlobalTempView。根据文档,
for createOrReplaceGlobalTempView :此临时视图的生命周期与此Spark应用程序绑定。
对于 createOrReplaceGlobalTempView :此临时表的生命周期与用于创建此DataFrame的SparkSession相关联。
请您详细说明Spark Application和SparkSession的区别。
此致
Neeraj
答案 0 :(得分:2)
标准临时表位于用户空间similarly to Hive
中这些表中的数据存储在用户的暂存目录中,而不是存储在Hive仓库目录中。临时目录有效地充当用户的数据沙箱。
并且仅限于单个用户会话。
全局临时视图,以多个会话可以访问的方式不同,因此普通视图(可以全局访问,在全局临时数据库中注册)和临时视图(其范围是仅限一次会议。)