仅当某些字段的文档发生更改时,Avro兼容性

时间:2015-11-07 16:56:50

标签: apache-kafka avro

我一直在我的应用程序中使用avro作为kafka离线处理的数据格式。我有一个用例,生产者使用的模式几乎与消费者使用的模式相同,只是生产者在某些字段的文档中有一些变化。消费者是否能够在不出错的情况下消费此类活动?我正在调试数据管道中缺少大量事件并试图找出根本原因的问题。我注意到了这种差异,并希望了解这是否会导致问题。

1 个答案:

答案 0 :(得分:0)

您应该测试以确认,但文档不应该影响架构解析,因为架构应该规范化为“规范形式”: https://avro.apache.org/docs/1.7.7/spec.html#Parsing+Canonical+Form+for+Schemas