Kafka - 最大邮件大小设置

Question

这是我的架构：

Kafka DC -> MirrorMaker -> Kafka Aggregate  
Kafka DC max.message.bytes -1 M  
Mirrormaker -> max.request.size -> 2M and Batch.size -> 1M  
Kafka Aggregate -> max.message.bytes -> 2M  

我仍然在Kafka Agg方面看到消息 Size Large Exceptions 。

Answer 1

如果抛出了MessageSizeTooLargeException而不是RecordTooLargeException，则表示您正在使用旧的使用者。尝试增加＆f; fetch.message.max.bytes＆＃39;使其至少与最大邮件大小一样大。

编辑：根据堆栈跟踪，生成邮件时会出现问题，因此请检查broker config＆＃39; message.max.bytes＆＃39;确保它不小于最大邮件大小。默认值为1000012字节，小于1MB。