如何为saveAsTable使用不同的Hive Metastore？

Question

我使用PySpark使用Spark SQL（Spark 1.6.1），我需要从一个Hive Metastore加载一个表，并将数据帧的结果写入另一个Hive Metastore。

我想知道如何为一个spark SQL脚本使用两个不同的Metastore？

这是我的脚本。

Photos

Answer 1

HotelsDotCom专门为此https://github.com/HotelsDotCom/waggle-dance开发了一个应用程序（WaggleDance）。使用它作为代理，您应该能够实现您的尝试

Answer 2

TL; DR 无法使用一个Hive Metastore（对于某些表）和另一个（对于其他表）。

由于Spark SQL支持单个Hive Metastore（在SharedState中），无论从SparkSessions读取和写入不同Hive Metores的数量是多少，在技术上是不可能的。