当kafka崩溃时(由于硬件问题 - 存储空间不足或1个节点断开连接),我的kafka服务器会意外地将消费者群体的偏移重置为最早。这是我第二次遇到这个问题,并且没有简单的方法可以在事件发生前的最后一小时重新启动偏移量(我可以在zookeeper中手动设置每个分区的偏移量,但每个主题有100个分区,我们有20个主题)。
我不知道问题出在哪里(zookeeper?kafka?consumer?producer?)。它恰好发生在kafka从崩溃中备份的时候。我不知道任何错误或警告。
我使用kafka 0.8.2.2和参展商(zookeeper)v1.5.5