我们目前正在使用Protocol Buffers作为kafak消息的序列化机制。我们将搬到Avro。我们使用Schema Registry对Avro Confluent消费者进行了测试,根据这些测试,Avro消费者与protobuff消费者相比有点慢。
我的问题是我们需要手动现金模式还是Python AvroConsumer自己处理现金? 我正在使用confluent_kafka AvroConsumer。
答案 0 :(得分:0)
前段时间我遇到了同样的问题,当您从Google protobuf(实际上是很快的)转移到诸如Avro + Schema Registry之类的东西时,会有另外的延迟。
您绝对可以选择手动缓存模式。但是,与SchemaRegistry交谈的大多数体面的kafka客户应该已经做到了。至少,Confluent的Java kafka客户端会自动执行此操作。因此,唯一需要向架构注册表发送请求的时间是遇到一个尚未看到的架构版本时。