如何在Apache Kafka中选择日志压缩类型？

Question

我想在Apache Kafka中压缩数据日志。我怎么知道该选择哪一个？对我来说，性能和空间很重要。

Server.properties文件

Compression.type = 贪婪， gzip ， lz4 vb。使用。

Answer 1

有趣的是，Uber uses zlib with MsgPack serialized messages。但是，您应该在自己的硬件，网络和存储上执行自己的基准测试（例如，这些数字是使用Python库获得的）

关于基础序列化，Avro serialization via a Schema Registry允许您拥有比纯文本或JSON更严格的架构定义规则，并且Avro通常与Snappy压缩配对得很好