Presto和hive分区发现

时间:2015-12-27 06:56:55

标签: hadoop amazon-s3 hive presto

我正在使用presto主要使用hive连接器连接到hive Metastore。

我的所有表都是指向存储在S3中的数据的外部表。

我的主要问题是没有办法(至少我知道)在Presto中进行分区发现,所以在我开始在presto中查询表之前,我需要切换到hive并运行{{ 1}}

在Presto中有更合理的方法吗?

3 个答案:

答案 0 :(得分:2)

没有

如果HIVE Metastore没有看到分区,PrestoDB将无法看到它。

也许 cron 可以帮助你。

答案 1 :(得分:1)

我使用的是0.227版本,以下内容对我有帮助:

select * from hive.yourschema."yourtable$partitions"

此选择返回目录中映射的所有分区。您可以像普通查询一样进行过滤,排序等。

答案 2 :(得分:0)

现在有一种方法可以做到这一点:

CALL system.sync_partition_metadata(schema_name=>'<your-schema>', table_name=>'<your-table>', mode=>'FULL')

归功于 this postthis video