汇总架构注册表抵消管理

时间:2017-10-15 16:30:54

标签: apache-kafka registry schema apache-zookeeper confluent

我们使用Confluent Schema Registry作为Avro Schema Repo。我观察到的是Zookeeper中没有消费者偏移管理。是因为Schema Registry的设计方式 - 不是在Zookeeper中存储偏移量而是在Kafka中存储偏移量,或者这是Kafka中压缩日志/主题的标准设计模式?

2 个答案:

答案 0 :(得分:3)

使用Confluent Schema Registry不会以任何方式影响消费者偏移的处理方式。

在Kafka 0.9及更高版本(即“新消费者”API)中,消费者抵消存储在名为__consumer_offsets的特殊Kafka主题中。

Kafka中的消费者抵消存储对于压缩主题和常规主题都是相同的。

答案 1 :(得分:1)

新的高级消费者不会在Zookeeper中存储偏移量。您可以查看此链接https://cwiki.apache.org/confluence/display/KAFKA/Kafka+0.9+Consumer+Rewrite+Design