Question

在我的ambari群集中（版本2.6 ）

我们拥有主机和工人机器而kafka安装在主机上

分区/数据仅 15G 和kafka日志文件夹是 - / data / var / kafka / kafka-logs

/ data / var / kafka / kafka-logs下的大多数文件夹大小为4K-40K

但是两个文件夹的大小非常大 - 5G-7G，这导致 / data 为100％

示例：

/data/var/kafka/kafka-logs/mmno.aso.prpl.proces-90

12K     00000000000000000000.index
1.0G    00000000000000000000.log
16K     00000000000000000000.timeindex
12K     00000000000001419960.index
1.0G    00000000000001419960.log
16K     00000000000001419960.timeindex
12K     00000000000002840641.index
1.0G    00000000000002840641.log
16K     00000000000002840641.timeindex
12K     00000000000004260866.index
1.0G    00000000000004260866.log
16K     00000000000004260866.timeindex
12K     00000000000005681785.index
1.0G    00000000000005681785.log

是否可以限制日志的大小？或其他解决方案？我们有小的 / data ，需要日志不应该是1G大小，如何解决？

Answer 1

Kafka有许多代理/主题配置，用于限制日志的大小。特别是：

log.retention.bytes：删除前的最大日志大小
log.retention.hours：在删除日志文件之前保留日志文件的小时数

请注意，这些不是硬边界，因为每个网段都会发生删除，如：http://kafka.apache.org/documentation/#impl_deletes中所述。这些也是每个主题。但通过设置这些，您应该能够控制数据目录的大小。

有关log.retention.* / log.roll.* / log.segment.*配置的完整列表，请参阅http://kafka.apache.org/documentation/#brokerconfigs

kafka logs +如何限制日志大小

1 个答案: