Kafka - 消费者偏移自动重置

时间:2017-08-25 10:18:15

标签: java apache-kafka apache-zookeeper kafka-consumer-api

将Apache Kafka与Java API高级消费者一起使用时,有时会出现以下错误,

  

WARNpool-1-thread-4自动提交   抵消{my_topic-2 = OffsetAndMetadata {offset = 53847,metadata =''}}   组my_consumer_group失败:偏移提交失败,带有   可重复的例外。您应该重试提交偏移量。该   潜在的错误是:这不是正确的协调员。

每当发生此错误时,将消费者偏移重置为较早的值,并且已经消耗的记录将再次消耗。

我的Kafka版本0.11.0.0。我有3个卡夫卡经纪人。我的主题的分区数为3.消费者偏移的分区数为50(默认值)。消费者抵消的复制因子是2。

这是0.11.0.0中的错误吗?或者我错过了任何配置?

感谢。

1 个答案:

答案 0 :(得分:0)

这是Kafka 0.11.0.0版中的错误,后来在0.11.0.1版中已修复。

以下票证跟踪该错误,

https://issues.apache.org/jira/browse/KAFKA-5600