我们的kafka系统崩溃,因为没有可用的磁盘空间。 使用者是使用Kafka Streams API的Spring启动应用程序。 现在,每个消费者应用程序都显示以下错误:
Z = [x for x in Z if x != 'nan']
Z = [x for x in Z if x != float('NaN')]
恰在重新启动kafka服务器之后才发生此异常。 如果我们重新启动应用程序,该服务将从偏移量0开始,以重播消耗的主题中的所有消息。这是致命的。
我们检查了日志:在每个分区上没有信息(示例行,我们有60个分区):
java.io.FileNotFoundException: /tmp/kafka-streams/908a79bc-92e7-4f9c-a63a-5030cf4d3555/streams.device-identification-parser/0_48/.checkpoint.tmp (No such file or directory)
有人可以帮助我恢复服务从最后一个偏移量开始的偏移量信息吗?
答案 0 :(得分:1)
如果这是一个Kafka Streams应用程序,则可以成功重置它,可以使用Confluent的应用程序重置工具:https://docs.confluent.io/current/streams/developer-guide/app-reset-tool.html