Apache Kafka:减少Kafka磁盘使用量

时间:2018-06-22 09:47:42

标签: apache-kafka disk diskusage

我对Kafka的磁盘有疑问。 卡夫卡的磁盘已满时将失败。 因此,我想通过在Kafka磁盘使用率达到x%时丢弃存储在Kafka磁盘上的旧数据(或丢弃数据的副本),将磁盘使用率降低至x%以下。我需要修改Kafka源代码来做到这一点吗?

1 个答案:

答案 0 :(得分:2)

您可以为主题配置retention.bytes

  

如果使用“删除”保留策略,此配置将控制分区(由日志段组成)可以增长到的最大大小,然后我们将丢弃旧的日志段以释放空间。默认情况下,没有大小限制,只有时间限制。由于此限制是在分区级别上强制执行的,因此将其乘以分区数量即可计算出以字节为单位的主题保留。

请参见https://kafka.apache.org/documentation/#topicconfigs