我们新的kafka群集空间耗尽的速度超出了预期,因此我采取了一些措施来缓解:
1)我为有问题的主题启用了快速压缩:这是在代理端使用“ kafka-topics --config compression.type = snappy”命令完成的,以免中断生产者
2)我将集群中的kafka节点数量翻了一番
3)我重新平衡了群集。
这些步骤有效,我们已经花了一些时间。我知道[1]仅适用于新产生的数据,但是我想知道重新平衡到新节点的分区在到达新代理时是否会被压缩,或者它们是否将保留其原始格式(没有生产者压缩,因此它们都未压缩)。旧节点上还有其他内容,因此很难通过简单的磁盘使用情况分析来推断。
答案 0 :(得分:1)
在分区重新分配期间,记录将被压缩并写入新代理。