Apache Kafka中的主题侧压缩

时间:2018-08-09 06:03:45

标签: apache-kafka apache-flink

如果我们没有在kafka生产者上提到压缩类型,而在经纪人方面提到它...性能如何受到影响?主题方面的压缩以何种批处理大小起作用?

1 个答案:

答案 0 :(得分:0)

仅当在生产方指定压缩时,压缩才有效,否则数据将以未压缩的格式存储在磁盘上。 压缩增加了I / O吞吐量,从而在客户端增加了一些压缩和解压缩成本。同样,它还节省了磁盘空间,因为数据将以压缩格式存储在kafka代理中。 您可以将批处理大小保持为kafka代理允许的最大消息大小上限,即1 MB