kafka旧的消费者偏移不会被删除

时间:2018-07-27 17:23:46

标签: apache-kafka

Kafka Version 0.10.1.1

代理具有所有日志清除/保留默认值:

log.cleanup.policy=delete
log.retention.hours=168 (7 days)
offsets.retention.minutes=1440 (1 day)
log.index.size.max.bytes=10485760 (10M)

但是我可以看到7月6日的__consumer_offsets

[root@npe-tfb-kfk-w2b-b3 __consumer_offsets-13]# ls -ltr -h
total 71M
-rw-r-----. 1 root root 70M Jul  6 08:31 00000000000081206436.log
-rw-r-----. 1 root root 10M Jul 26 12:10 00000000000081206436.index
-rw-r-----. 1 root root 10M Jul 26 12:10 00000000000081206436.timeindex

在生产中,我可以看到7月16日开始的consumer_offsets .log文件。

这怎么可能?如果我手动删除旧的.log.index.timeindex文件,那会影响群集的稳定性。

1 个答案:

答案 0 :(得分:0)

此处的日期差异可能是由于重新启动而造成的关机异常。在这种情况下将重建索引文件。就偏移量主题而言,除非您确定确实要这样做,否则不应手动将其删除。这可能会导致您的消费者失去状态。该主题已压缩,您根本没有多少数据。我希望您之前已经删除了段,因为在那里我看不到日志段0。只要确保您的日志清理器仍可正常运行,您就可以了。如果由于70MB日志段而担心磁盘空间不足,则需要更多磁盘。 Kafka磁盘的大小应为100s GB。