卡夫卡消费者记录"自动抵消提交失败"每隔几分钟

时间:2016-01-27 17:02:20

标签: apache-kafka

我正在使用Kafka 0.9" new"消费者API连接到Kafka 0.9.0.0。每隔几分钟,就会记录以下错误:

  

2016-01-27T16:38:14,584Z [pool-1-thread-1]错误   o.a.k.c.c.i.ConsumerCoordinator - 自动偏移提交失败。   org.apache.kafka.clients.consumer.internals.SendFailedException:null

Here is a gist我的经纪人和消费者配置。

代理日志中没有相应/有关的日志消息,并且记录似乎正好在我的系统中流动。这条消息主要是一种烦恼,导致分散注意力的警报和噪音。

我很想知道这个例外意味着什么,但我真正的问题是:

  1. 我应该关注这个例外吗?
  2. 如果我不应该担心,有没有办法通过调整消费者/经纪人配置来抑制它?
  3. 如果上述两个问题的答案是" no",抑制这些消息的好规则是什么(我可以使用Logback执行),这样我就不会错过合法{{ 1}}日志消息

1 个答案:

答案 0 :(得分:1)

我在不同的地方(苍鹭和KafkaSpout)有相同的错误信息! 我的发现如下:

如果您使用enable.auto.commit = true,则不得使用consumer.commitAsync();