卡夫卡能否将消费者群体的偏移量设置为主题的开头?

时间:2019-03-23 18:40:46

标签: apache-kafka apache-kafka-streams

我们面临下一个问题: 有一个服务(kafka-streams应用程序)已关闭约4天。开启后,它已经开始消耗已经消耗的消费者消息,该消息在服务关闭前几天已经处理。服务具有auto.offset.reset: latest,应该可以防止这种行为。

我们发现,恰好在服务关闭后的一天,卡夫卡的滞后时间显着增加(增加了约3000万条消息)。

也许我是错的,但看起来偏移量已移至主题的开头-这就是latest无法正常工作的原因。这样怎么可能发生?

是否可以通过某种方式将其连接到kafka流(我们有几个带有持久状态存储的转换器)?

0 个答案:

没有答案