Parquet文件逻辑类型映射

时间:2015-11-07 23:18:17

标签: thrift parquet

在镶木地板文件中,数据存储在少量基本类型中。然而,存在高阶逻辑类型(也称为转换类型)的概念。例如,DECIMAL(10,2)可以存储为长度为3的字节数组,即整数,其中除以100到固定精度十进制由模式定义。

我的问题是:从数字逻辑类型到DECIMAL等标识符的地图在哪里,它们是如何进一步指定的? 据我所知,模式thrift spec块看起来像这样: clearContent() 这是我所追求的最后一个变量的含义,以及规范中可能包含的更多信息。

1 个答案:

答案 0 :(得分:1)

这里给出了一个简短的描述,所以我对DECIMAL这是正确的。如何使用其他产品仍然有些不透明。

https://github.com/Parquet/parquet-format/blob/master/src/thrift/parquet.thrift#L65

具体来说,乘以的标度是10 ** b,其中b是spec块中的下一个32位整数。