无法使用Kafka使用大型邮件（超过1.3 MB）？

Question

我点击了How can I send large messages with Kafka (over 15MB)?链接来解决kafka msg限制问题。但没有运气

我尝试增加

A。）在经纪人上：

message.max.bytes=15728640 
replica.fetch.max.bytes=15728640

B。）关于消费者：fetch.message.max.bytes=15728640

仍然面临同样的问题。无法使用特定主题上超过1.3 MB的数据

在我的应用程序中，通过python代码在主题上发送了一个味精，并在节点服务器上使用。

Answer 1

Kafka确实对数据大小有严格的限制；默认值为1MB。 我相信您错过了主题级别的配置。

在不同级别上有多个配置：

您有一个代理设置message.max.bytes（默认为1000012）http://kafka.apache.org/documentation/#brokerconfigs

有一个主题级别的配置max.message.bytes（默认为1000012） http://kafka.apache.org/documentation/#topicconfigs

生产者具有max.request.size（默认值为1048576） http://kafka.apache.org/documentation/#producerconfigs

消费者有max.partition.fetch.bytes（默认值为1048576） http://kafka.apache.org/documentation/#consumerconfigs