使用kafka-log-retention任务的kafka FileNotFoundException

Question

运行23天后，我每五分钟就会看到一次：

ERROR Uncaught exception in scheduled task 'kafka-log-retention' (kafka.utils.KafkaScheduler) java.io.FileNotFoundException: /tmp/kafka-logs/events-7/00000000000000000000.index (No such file or directory)

我的设置是：

log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
log.cleaner.enable=false

看起来像一个非常简单的设置。现在，系统也没有看到很多卷。

知道我为什么会看到这个错误吗？

Answer 1

检查/etc/cron.daily/tmpwatch的内容。在我的计算机上，它表示超过10天的/tmp中的文件将被删除。解决方案是为Kafka log.dirs配置属性选择另一个目录。不确定您是如何从数据丢失中恢复的，因为文件实际上已被删除。幸运的是，我的群集不适合制作。