Sparksql或hiveserver2可以同时连接到2个不同的元存储吗?

时间:2018-07-04 23:43:33

标签: apache-spark hadoop cassandra hive datastax

用例是:

  • 运行Cassandra,HiveMetastore(基于Cassandra)和SparkSQL的Datastax DSE集群保存指向DSEFS的外部表的DDL
  • 运行HiveMetastore(基于MySQL),HiveServer2和SparkSQL的EC2群集。此元存储区包含指向S3的外部表的DDL

是否可以有一个可以同时从两个元存储读取数据的SparkSQL连接(即,HMS(卡桑德拉)的DSEFS表和HMS(MySQL)的S3表)?从我所见,单个HMS不能同时处理S3和DSEFS外部表。

0 个答案:

没有答案