Kafka磁盘空间已满

Question

我有一个带有1000GB磁盘的Kafka服务，并且该运行参数为：

log.retention.bytes=350000000000

但是，磁盘空间的使用率达到90％（900GB）。由于该参数正在运行，因此磁盘大小不应超过326GB。为什么会发生这种情况？

其他属性：

log.index.interval.bytes=4000
log.segment.bytes=250000000
log.index.size.max.bytes=10485760
log.retention.ms=168

Answer 1

official documentation不太清楚：

  

删除前的最大日志大小

关于主题配置的confluent documentation（无论如何也应被视为官方文档）具有更好的设置（在tention.bytes下）：

  

如果使用“删除”保留策略，此配置将控制分区（由日志段组成）可以增长到的最大大小，然后我们将丢弃旧的日志段以释放空间。默认情况下，没有大小限制，只有时间限制。由于此限制是在分区级别上强制执行的，因此将其乘以分区数量即可计算出以字节为单位的主题保留。

简而言之，即使每个主题都没有此配置。 每个分区的数量。我不知道用作代理范围大小限制的kafka配置。

如果您尝试在群集中的多个代理之间平衡数据负载，也许您应该看看cruise control