将S3用于HIVE元存储库?

时间:2019-06-03 19:45:52

标签: hadoop amazon-s3 hive

我正在将S3配置为Hive的数据仓库。但是,我不确定Hive的“元存储”部分是否可以使用S3作为存储。

大多数教程(即https://data-flair.training/blogs/apache-hive-metastore/)都提到元存储仅支持Derby和其他一些RDBMS。

是真的吗?配置metastore以将s3用作存储听起来对我来说是一个简单的配置更改。

1 个答案:

答案 0 :(得分:1)

Hive Metastore保留Hive表和分区的元数据。它由关系数据库支持,目前支持MySQL, Postgres, Oracle, and MS SQL Server。 S3是object store,而不是关系数据库。

这是ER diagram,显示了Hive Metastore中存储的各种表,列和约束。