在Apache Spark中跨集群读取数据

时间:2019-02-22 22:53:51

标签: apache-spark dataframe pyspark apache-spark-sql

我有一个巨大的表,正在使用Databricks(DBx)notebookA从RedShift加载到S3上的csv文件中。该笔记本正在clusterA上运行。
我有另一个笔记本B,它正在从S3中的csv文件读取数据到一个数据帧中。该NotebookB在clusterB上运行。
现在,我要访问位于clusterC上的第三个NotebookC中的此数据帧。
我该怎么办?
registerTempTable是特定于会话的。
可以在多个笔记本之间访问createGlobalTempView,但不能在不同群集上的多个笔记本之间访问。

0 个答案:

没有答案