我找不到有关Avro规格的数据大小限制信息。
每个原始和复杂字段的最大大小限制是多少? 每个数据块或对象的最大大小限制是多少?
某些字段大小限制可能取决于我们使用的语言,例如Java对String对象有大小限制。
答案 0 :(得分:1)
在Avro spec中,通常将数组,字符串,映射全部限制在"variable length" "zig zag" coded long
上。
据我所知,字节读取器一直在读取高阶位
定义了一种正整数的可变长度格式,其中每个字节的高位指示是否还有更多字节需要读取。
尽管我不知道最大限制,即使我们仅将逻辑纯粹基于Java long,也可以
Long.MAX_VALUE = 9223372036854775807
并且以字节为单位的字节数超过9.22 PB(或Exabytes),所以我认为您应该没问题。
在Java方面,(以及大多数其他具有整数大小的字符串类型的语言)String
的大小限制要小得多