impala分区与＆lt;或者＆gt;条件

Question

我有2TB手机记录，大约330亿读数180万用户。 我在用户ID上创建了一个分区。 Impala创建了许多名为userid=XXXXX的子目录。 这似乎超过了180万个子目录的分区。有没有办法让分区有一个范围或数组？

Answer 1

目前，Impala没有任何范围的分区。因此，您需要在表中的不同列上进行分区，以创建更少的分区。或者作为一种解决方法，您可以向表中添加一个附加列，该列存储每个记录所需的指定范围，然后在＆＃34;范围＆＃34;上进行分区。柱。示例：您有一个字段user_id = 1234的记录，其中还有一个范围user_range = 0_100000的字段，您可以将其用于分区。