我找到了这个问题的原因,请看下面的评论
这是我上一个问题的下一部分:
(Solved) Kafka 0.11.0.0 keeps reseting offset on restart
不重复自己,我只需要说我有kafka 0.11.0.0再次出现问题而没有任何理由重置偏移。我不知道它是否是某种关键错误,或者我是否错过了一些重要的配置条目。
所以,在我完成所有工作之后,我没有一段时间没有运行任何消费者,并且24小时之后他们应该将偏移重置为0。所以我编辑了配置,改为30天(30 * 24 * 60的结果),重新启动kafka后,一些偏移神秘地回来了。我用消费者全部阅读它们,所以到处都是滞后0,每次重启kafka偏移后重置到同一点。有什么奇怪的,在重新启动kafka和偏移后,我会在几秒钟内看到我的消费者ID连接到可以重置其偏移量的主题。那个消费者ID不应该存在,因为消费者很久以前就被终止了,就像kafka保留了一些关于不存在消费者的不良数据,其偏移量和kafka一直在回到这一点。我之前通过使用kafka数据从头创建目录来修复它,但它并不是每隔几天使用kafka来完成它的。 不幸的是,我无法在此处提供消费者代码,但我可以保证它正确提交,之前有效。
我该如何解决?
@edit 我看到每个主题的leader-epoch-checkpoint文件的内容都有这些错误的偏移。
@ EDIT2 更改这些文件什么也不做,所以似乎问题出在其他地方。
答案 0 :(得分:2)
这是Kafka 0.11.0.0 bug,下载0.11.0.1来修复它。 这是原因:https://issues.apache.org/jira/browse/KAFKA-5600