如何将AWS Athena连接到存在的Hive Metastore

时间:2018-03-23 10:24:08

标签: amazon-web-services amazon-athena hive-metastore

我需要将AWS Athena服务与存在的Hive Metastore(不是AWS Glue)集成。

请告诉我如何将Athena连接到Hive Metastore。

3 个答案:

答案 0 :(得分:4)

Athena仅适用于其自己的Metastore或相关的AWS Glue Metastore。它不适用于外部Metastore。

但是,您可以在同一底层S3存储上设置多个表或数据库。因此,如果您使用外部Metastore将数据写入S3,则可以在Athena的Metastore中设置适当的数据库和表定义后,使用Athena查询这些文件。

答案 1 :(得分:1)

另一种方法是使用命令

将配置单元元数据导出到文件中。

command =“ hive -f” + schema +“ _ tables.hql -S >>” + schema +“。output”

其中将要导出的schema =并使用python中的groovy将表定义导入Athena。

可以在链接中找到设置Groovy的说明

https://github.com/aws-samples/aws-big-data-blog/tree/master/aws-blog-athena-importing-hive-metastores

答案 2 :(得分:1)

Amazon Athena刚刚发布了一项新功能(现在在预览中),可让您将Athena连接到您的Apache Hive Metastore。您可以看到公告here。雅典娜documentation中提供了添加Hive Metastore连接器的详细步骤。