卡夫卡没有正确保存补偿

时间:2017-08-25 06:23:47

标签: java apache-kafka

我找到了这个问题的原因,请看下面的评论

这是我上一个问题的下一部分:

(Solved) Kafka 0.11.0.0 keeps reseting offset on restart

不重复自己,我只需要说我有kafka 0.11.0.0再次出现问题而没有任何理由重置偏移。我不知道它是否是某种关键错误,或者我是否错过了一些重要的配置条目。

所以,在我完成所有工作之后,我没有一段时间没有运行任何消费者,并且24小时之后他们应该将偏移重置为0。所以我编辑了配置,改为30天(30 * 24 * 60的结果),重新启动kafka后,一些偏移神秘地回来了。我用消费者全部阅读它们,所以到处都是滞后0,每次重启kafka偏移后重置到同一点。有什么奇怪的,在重新启动kafka和偏移后,我会在几秒钟内看到我的消费者ID连接到可以重置其偏移量的主题。那个消费者ID不应该存在,因为消费者很久以前就被终止了,就像kafka保留了一些关于不存在消费者的不良数据,其偏移量和kafka一直在回到这一点。我之前通过使用kafka数据从头创建目录来修复它,但它并不是每隔几天使用kafka来完成它的。 不幸的是,我无法在此处提供消费者代码,但我可以保证它正确提交,之前有效。

我该如何解决?

@edit 我看到每个主题的leader-epoch-checkpoint文件的内容都有这些错误的偏移。

@ EDIT2 更改这些文件什么也不做,所以似乎问题出在其他地方。

1 个答案:

答案 0 :(得分:2)

这是Kafka 0.11.0.0 bug,下载0.11.0.1来修复它。 这是原因:https://issues.apache.org/jira/browse/KAFKA-5600