压缩大卡夫卡主题

Question

我们启用了kafka压缩，除了一个很大的主题（超过30M的记录和超过40GB的大小）之外，它的效果很好。 kafka主题压缩是否有任何限制/配置？

谢谢， 格迪米纳斯

Answer 1

我们找到了解决方案。我们使用了Kafka 0.9，它有一个bug。获取主题大小时，它使用整数变量。因此，2Gb以上的所有主题都因此而失败。后来Kafka有了这个修复https://github.com/apache/kafka/commit/1f64942021bd8fe0f2791700fb402cfac1acc9de#diff-d7330411812d23e8a34889bee42fedfe 升级后，我们的问题就解决了。