Kafka服务器包含消息,但消费者无法接收任何消息(生产者使用的压缩.type = snappy)

时间:2016-05-25 06:50:13

标签: compression apache-kafka consumer snappy

我是Kafka的新手。使用kafka 0.9.0时,我可以通过设置我的kafka制作人的compression.type属性来设置编解码器。

假设我在我的制作人中使用snappy压缩,当使用某个kafka-consumer从kafka消费消息时,我应该做什么来从snappy 解码数据或者它是否构建了一些 - 卡夫卡消费者的特征?

在办公室文档中,我找不到任何与kafka消费者编码有关的属性(它只与生产者有关)。

有人可以清除这个吗?

1 个答案:

答案 0 :(得分:0)

As mentioned in their wiki Page,there is no need for any decompression logic on the Consumer side

请查看下面的维基页面:

https://cwiki.apache.org/confluence/display/KAFKA/Compression

消费者为主题收到的数据可能包含压缩消息和未压缩消息。 consumer迭代器transparently decompresses compressed数据仅返回uncompressed message