Kafka Version 0.10.1.1
代理具有所有日志清除/保留默认值:
log.cleanup.policy=delete
log.retention.hours=168 (7 days)
offsets.retention.minutes=1440 (1 day)
log.index.size.max.bytes=10485760 (10M)
但是我可以看到7月6日的__consumer_offsets
:
[root@npe-tfb-kfk-w2b-b3 __consumer_offsets-13]# ls -ltr -h
total 71M
-rw-r-----. 1 root root 70M Jul 6 08:31 00000000000081206436.log
-rw-r-----. 1 root root 10M Jul 26 12:10 00000000000081206436.index
-rw-r-----. 1 root root 10M Jul 26 12:10 00000000000081206436.timeindex
在生产中,我可以看到7月16日开始的consumer_offsets .log
文件。
这怎么可能?如果我手动删除旧的.log
,.index
和.timeindex
文件,那会影响群集的稳定性。
答案 0 :(得分:0)
此处的日期差异可能是由于重新启动而造成的关机异常。在这种情况下将重建索引文件。就偏移量主题而言,除非您确定确实要这样做,否则不应手动将其删除。这可能会导致您的消费者失去状态。该主题已压缩,您根本没有多少数据。我希望您之前已经删除了段,因为在那里我看不到日志段0。只要确保您的日志清理器仍可正常运行,您就可以了。如果由于70MB日志段而担心磁盘空间不足,则需要更多磁盘。 Kafka磁盘的大小应为100s GB。