最近我们开始在元数据上获取MessageSizeTooLargeException,因此我们启用了offsets.topic.compression.codec = 1,以启用gzip压缩,但是对代理的速率/消息的总字节数没有改变。我错过了什么吗?还有其他一些需要改变的财产吗?
此编解码器如何工作?
我们是否还需要在消费者和生产者身上添加一些属性?我刚刚在经纪人身上启用了此功能。
答案 0 :(得分:0)
offsets.topic.compression.codec
仅适用于内部偏移主题(即__consumer_offsets)。这些用户级主题没用。
请参阅Kafka: Sending a 15MB message,了解如何避免MessageTooLargeException / RecordTooLargeException。