Apache配置单元 - 如何限制show命令中的分区

时间:2018-01-22 14:39:20

标签: hive

fds[1]命令中列出分区时,有没有办法限制Hive分区的数量?

我有一个Hive表,它有大约500个分区,我只想要最新的分区。 show命令列出所有分区。我正在使用此分区来查找位置详细信息。我无权访问Metastore来查询详细信息,而分区位置是实际数据所在的位置。

我尝试设置hive.limit.query.max.table.partition = 1,但这不会影响Metastore查询。那么,有没有其他方法来限制列出的分区?

谢谢你, Revathy。

2 个答案:

答案 0 :(得分:0)

您是否从命令行运行?

如果是这样,你可以用这样的东西得到你想要的东西:

hive -e "set hive.cli.print.header=false;show partitions table_name;" | tail -1

答案 1 :(得分:0)

有一种“坏”的方法来获取您想要的东西。您可以像对待其他列一样对待分区列,并通过限制查询将它们提取到select中:

SELECT DISTINCT partition_column  
FROM partitioned_table
ORDER BY partition_column
LIMIT 1;

过滤显示分区的唯一方法是使用分区:

SHOW PARTITIONS partitioned_table PARTION ( partitioned_column = "somevalue" );