Hive中的单个与多个分区

时间:2016-04-14 14:41:56

标签: hive partitioning

使用date作为yyyymmdd字符串进行分区是否存在权衡,而将年,月,日的多个分区作为整数进行权衡?

1 个答案:

答案 0 :(得分:2)

对于在hive中创建的每个分区,都会创建一个新目录来存储该分区数据。这些细节被添加到hive Metastore以及hadoop的fsimage中。 当一个分区创建为yyyymmdd时,将创建一个目录,而年,月和日将创建三个不同的目录。因此,hive Metastore中的更多条目以及要存储在fsimage中的更多元数据。这与hive和hadoop如何看待元数据视角的分区有关。

我要查询的另一个查询是,当分区为yyyymmdd时,它在以日(日期)为基础查询时运行良好。除了日期级别查询之外,年,月,日的分区还可以灵活地有效地查询年级和月级的数据。

相关问题