如何将数据帧注册到可以从另一个笔记本访问但在同一群集中的数据块中的表中？

Question

如何将数据帧注册到可以从另一个笔记本访问但在同一群集中的数据块中的表？**我们曾尝试使用spark.sql在数据块中注册表，但无法在另一个笔记本中访问该表**

Answer 1

从Spark 2.10开始，您必须使用createGlobalTempView（“ myView”），然后使用spark.sql（“ select * from global_temp.myView”）从另一个笔记本访问它-请注意使用限定名称。 当然，您需要位于同一群集中。

由于spark session isolation，旧方法（定义一个临时表）不再起作用。

笔记本- A

inputdf.createGlobalTempView("myView")

笔记本- B

outputdf = spark.sql("select * from global_temp.myView")