标签: apache-kafka apache-flink
如果我们没有在kafka生产者上提到压缩类型,而在经纪人方面提到它...性能如何受到影响?主题方面的压缩以何种批处理大小起作用?
答案 0 :(得分:0)
仅当在生产方指定压缩时,压缩才有效,否则数据将以未压缩的格式存储在磁盘上。 压缩增加了I / O吞吐量,从而在客户端增加了一些压缩和解压缩成本。同样,它还节省了磁盘空间,因为数据将以压缩格式存储在kafka代理中。 您可以将批处理大小保持为kafka代理允许的最大消息大小上限,即1 MB