我们面临下一个问题:
有一个服务(kafka-streams应用程序)已关闭约4天。开启后,它已经开始消耗已经消耗的消费者消息,该消息在服务关闭前几天已经处理。服务具有auto.offset.reset: latest
,应该可以防止这种行为。
我们发现,恰好在服务关闭后的一天,卡夫卡的滞后时间显着增加(增加了约3000万条消息)。
也许我是错的,但看起来偏移量已移至主题的开头-这就是latest
无法正常工作的原因。这样怎么可能发生?
是否可以通过某种方式将其连接到kafka流(我们有几个带有持久状态存储的转换器)?