我遇到Kafka 0.11.0.0
的问题当我创建新主题时，将数据放入其中并使用java使用者使用它，在重新启动我的使用者组的Kafka 0.11.0.0偏移消失后。主题停留并且其中包含相同的数据，只有偏移被清除。这使消费者再次从主题下载所有记录。奇怪的是，只有一个主题具有旧的，正确的偏移，所有其他偏移都被删除，可能是因为那个主题已经存在了一段时间。
我使用commitSync（）提交所有消耗的记录。然后将偏移保存在我的代理上，我可以重新启动我的java使用者，它从正确的偏移量开始，但在重新启动整个Kafka之后，使用者组的偏移重置为0.我在使用kafka-consumer-groups.sh重新启动之后检查当前提交脚本，绝对是重置它们的经纪人。
我在Kafka 0.10.2.1中没有遇到任何问题。我只在0.11.0.0版本中遇到此问题。
我的消费者将auto.offset.reset设置为最早，自动提交设置为false，因为我手动提交。 Kafka数据存储在具有必要权限的非tmp目录中。其余的代理配置是默认的。
我需要0.11.0.0版本的交易。我不知道问题出在哪里。这可能是什么原因？是否有我错过的新配置参数？
@Edit 保留的主题也存在偏移问题，但它并没有完全清除，但重启后的偏移是不正确的，消费者在每次重启后都会获得约15％的数据。
@ EDIT2 有时但不总是我的server.log充满了：
[2017-08-22 08:59:30,719] INFO [GroupCoordinator 0]: Preparing to rebalance group scrapperBackup with old generation 119 (__consumer_offsets-26) (kafka.coordinator.group.GroupCoordinator)
[2017-08-22 08:59:30,720] INFO [GroupCoordinator 0]: Group scrapperBackup with generation 120 is now empty (__consumer_offsets-26) (kafka.coordinator.group.GroupCoordinator)
由于其他日志，它似乎已连接到我的消费者群体：
[2017-08-22 09:15:37,948] INFO Partition [__consumer_offsets,26] on broker 0: __consumer_offsets-26 starts at Leader Epoch 6 from offset 1699. Previous Leader Epoch was: 5 (kafka.cluster.Partition)
重启时总会出现类似这样的日志：
{{1}}
@ EDIT3 为Kafka / Zookeeper数据创建新目录并从头创建所有内容都有帮助。我不知道问题是什么，但它现在正常运作。似乎应用程序的数据目录中发生了一些错误。
答案 0 :(得分：2)
如果您遇到此问题，请下载Kafka的新版本0.11.0.1。该版本已修复此问题。