如果第一个会话已停止,是否可以在另一个会话的一个会话中访问由createOrReplaceGlobalTempView()创建的表?

时间:2019-03-21 04:13:36

标签: apache-spark apache-spark-sql

我的要求是创建一个可由其他作业访问的DataFrame。例如如果commonDF是需要由其他作业访问的DataFrame,并且我不想将commonDF写入磁盘,是否可以使用createOrReplaceGlobalTempView()创建表,以便所有其他会话都可以访问该表?如果是,在第一个创建表的会话停止时会发生什么?

sparkSession1
  commonDF.cache()

sparkSession2
  newDF1 join commonDF

sparkSession3
  newDF2 join commonDF

...

在上述情况下,Spark Streaming是否值得建议?

0 个答案:

没有答案