Kafka在制作人和主题上设置了压缩类型

时间:2018-02-07 18:06:32

标签: apache-kafka kafka-producer-api

以下在kafka中启用压缩的方法之间的区别是什么:

方法1:使用以下命令创建主题:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --config compression.type=gzip --topic test

方法2:在Kafka Producer客户端API中设置属性compression.type = gzip。

使用方法1时,我获得了更好的压缩和更高的吞吐量。

如果我使用方法1,是否意味着压缩发生在代理端,而在方法2中,消息在生产者端压缩,然后发送到代理?

1 个答案:

答案 0 :(得分:8)

  

如果我使用方法1,是否意味着压缩发生在经纪人端?

这取决于。如果生产者未设置compression.type或设置不同的生成器,则消息将在代理端压缩。但是,如果生产者也将compression.type设置为gzip,则无需在代理端再次压缩。实际上,必须满足其他严格条件才能确保不需要压缩,尽管它有点超出了范围。

  方法2中的消息,消息在Producer端压缩,然后发送给代理?

是的,如果生产者设置了compression.type config。

,记录将在被发送到代理之前被压缩