Amazon Kinesis声称支持Avro文件。
Avro文件（在此处查看Avro 1.8）包含特定文件的架构和数据。
与此同时，Kinesis会记录许多记录，并将它们粘合成一个大文件。
如果我们输入的每条记录都是Avro文件，并且Kinesis将这些记录粘合在一起形成更大的文件，那么我们将拥有包含数十个小模式的文件。这似乎不会有用/有效/工作。
我错过了什么？
答案 0 :(得分：1)
正如oakad在评论中所建议的那样，标准的Avro库将读取多个连接的Avro文件，并且可能会连接这些模式。这对于使用标准Avro库的用户来说非常棒。
不幸的是，我通过Kinesis写的消费者不使用标准的Avro库，而是使用规范的私有实现，但似乎没有这种行为。
另外，写了很多小的Avro文件，每个文件都有自己的架构，用于将记录粘合在一起＆＃34;在Kinesis当然不是很好地利用存储空间，所以我认为Kinesis模型与Avro相结合并不是这里的正确选择。