实木复合地板中的OffsetIndex 1.11.0

时间:2019-03-22 09:05:11

标签: parquet

从Parquet 1.10.0开始,Parquet引入了两个新的索引结构,即ColumnIndex和OffsetIndex。该文档位于https://github.com/apache/parquet-format/blob/master/PageIndex.md

从文档中,我可以清楚地了解ColumnIndex的思想,该思想指向每个列块内的页面。但是我不太了解OffsetIndex背后的想法。

如文档所述,OffsetIndex用于导航到ColumnIndex标识的行。但是ColumnIndex仅指向整体压缩的页面。然后,如何使用OffsetIndex导航到例如行组内的一行?

1 个答案:

答案 0 :(得分:0)

在此处阅读文档后:https://docs.google.com/document/d/1sBACp8Lbutuj1Zxdowvsrlm8ku4BFxf8U_Do5K2wSO4/edit

在一个句子中,一个ColumnIndex存储了属于一列的所有页面的统计信息,而ColumnChunk中每个页面的确切偏移量存储在OffsetIndex中。