如何在ORC表中创建行序列号

Question

我想添加行号或行序列ID列，它会自动增加行ID值。可以使用Hive UDF UDFRowSequence，但它可以在单个reducer中运行。我想知道在最新的配置单元0.14中是否有任何其他功能可以在oRC中自动递增行序列。

Answer 1

您可能希望在覆盖整个集合的窗口中查看ROW_NUMBER（）函数。它依赖于正在排序的数据，但应该允许并行分区处理。