镶木地板中的嵌入式类型

时间:2019-01-31 07:14:14

标签: parquet pyarrow

实木复合地板是否支持documentation中所述的嵌入式类型,例如JSON和BSON。我无法使用scala,pyarrow,hive生成镶木地板嵌入类型。

1 个答案:

答案 0 :(得分:0)

Parquet格式本身支持将它们用作类型注释。这些注释很少在Parquet中使用,尽管它们并不是文件格式真正的本机。最后,它们只是将字段标记为二进制字符串,而不会本地显示嵌套数据。

相反,您应该在Parquet文件本身的模式中编码数据的嵌套结构。但是,这需要对传入数据的嵌套类型和样式有先验知识。然后,该模式的实现还取决于您选择编写Parquet文件的引擎。