我正在探索Hive中的窗口功能,并且能够理解所有UDF的功能。虽然,我无法理解我们与其他功能配合使用的分区和顺序。以下是与我计划构建的查询非常相似的结构。
SELECT a, RANK() OVER(partition by b order by c) as d from xyz;
只是试图了解两个关键字所涉及的后台过程。
感谢帮助:)
答案 0 :(得分:4)
RANK()
分析函数为数据集中每个分区的每一行分配一个等级。
PARTITION BY
子句确定行的分配方式(如果是蜂巢,则在缩减程序之间)。
ORDER BY
确定分区中行的排序方式。
第一阶段分配,数据集中的所有行均分配到分区中。在map-reduce中,每个映射器根据partition by
对行进行分组,并为每个分区生成文件。映射器对分区部分进行初始排序。
第二阶段,所有行都在每个分区内排序。
在map-reduce中,每个化简器获取由映射器生成的分区文件(分区的一部分),并根据order by
对整个分区中的行进行排序(部分结果的排序)。
第三,等级功能将等级分配给分区中的每一行。正在为每个分区初始化Rank函数。
对于分区中的第一行,排名从1开始。对于每一行Rank=previous row rank+1
。具有相同值(按顺序指定)的行具有相同的等级,如果两行共享相同的等级,则下一行不是连续的。
不同的分区可以在不同的reducer上并行处理。小型分区可以在同一reducer上进行处理。等级函数在跨越分区边界时会重新初始化,并以每个分区的rank = 1开头。
示例(行已在分区内进行了分区和排序):
SELECT a, RANK() OVER(partition by b order by c) as d from xyz;
a, b, c, d(rank)
----------------
1 1 1 1 --starts with 1
2 1 1 1 --the same c value, the same rank=1
3 1 2 3 --rank 2 is skipped because second row shares the same rank as first
4 2 3 1 --New partition starts with 1
5 2 4 2
6 2 5 3
如果需要连续的等级,请使用dense_rank
函数。 dense_rank
将为上述数据集中的第三行产生rank = 2。
row_number
函数将为分区中以1开头的每一行分配位置编号。具有相等值的行将接收不同的连续编号。
SELECT a, ROW_NUMBER() OVER(partition by b order by c) as d from xyz;
a, b, c, d(row_number)
----------------
1 1 1 1 --starts with 1
2 1 1 2 --the same c value, row number=2
3 1 2 3 --row position=3
4 2 3 1 --New partition starts with 1
5 2 4 2
6 2 5 3
重要说明:对于具有相同值row_number
或其他此类分析函数的行,可能具有不确定性,并在每次运行时产生不同的数字。上述数据集中的第一行可能会收到数字2,第二行可能会收到数字1,反之亦然,因为除非您将在order by
上再添加一列 a ,否则它们的顺序是不确定的条款。在这种情况下,每次运行时所有行将始终具有相同的row_number,它们的顺序值是不同的。