从单独的模式和AVRO二进制数据文件重新创建AVRO

时间:2017-06-04 17:28:39

标签: java avro

我有一个场景,我从Kafka接收的数据只包含AVRO的二进制数据。在将AVRO放入Kafka主题之前,将删除所有架构和元数据。这样做是为了减少传入消息的大小。

在接收端,我有一个应该与该二进制数据兼容的模式。我已经研究了一些示例,其中SpecificDatumReader类用于读取附加了架构和元数据的AVRO数据。

是否有可能通过使用解析器库以某种方式实现我正在做的事情?

为了更好地了解我的问题,我能够使用我拥有的模式传递片段文件,并且能够使用avro-tools <将二进制片段中的数据解析为JSON / p>

java -jar avro-tools-1.7.7.jar fragtojson --schema-file mySchema.avsc fragmentFile

所以,我现在需要的是一种使用avro库将模式和片段文件拼接在一起并吐出有效.avro文件的方法。

0 个答案:

没有答案