卡夫卡投票机制

时间:2019-04-15 20:50:52

标签: apache-kafka kafka-consumer-api

生产者发布的Kafka消息在特定时间间隔后一直出现在消费者端

我尝试使用我的Kafka主题中的一条消息,那次我遇到上面说明的问题。我想这是由于设置5分钟(这是默认的轮询间隔)后重新轮询而发生的。我的理解正确吗?

我的预期结果是该消息不应一次又一次地重新处理。应该只处理一次。我该如何实现?

1 个答案:

答案 0 :(得分:0)

您的配置似乎是 enable.auto.commit:false和auto.commit.interval.ms:一些值

第二种配置导致消息在某个特定间隔(某个值)后出现。 消费者端出现相同的消息以进行处理,因为第一次未成功处理该消息。 如果Zookeeper或经纪人没有最新的偏移量信息,并且 auto.offset.reset 设置为最小(或最早),则处理将从第0个偏移量开始。 如果您不想重新处理同一封邮件,请将自动偏移重置更改为最大(或最新)