我们想使用Kafka标头(或某些TBD方法)来描述protobuf模式版本,以便消费者可以知道更新其protobuf模式,以便新字段可以正确获取ETL。有没有一种方法可以运行Kafka消费者代码来查找和导入protobuf模式?
我对于protobuf还是很陌生,但是我的理解是它需要导入,这将需要重新编译或重建图像,这并不理想。
因此,我们有点想要像protobuf模式查找那样的东西,Kafka使用者可以在其中使用消息,检查消息的标头以确定用于“解码”消息的正确protobuf模式,然后获取该protobuf模式从查找(某种快速缓存查找)。这样的事情存在吗?这是使用Kafka和protobuf的正确方法吗?原因是我们有Kafka主题,其架构经常更改。