消息在Apache Kafka中被截断

时间:2016-12-14 19:38:31

标签: apache-kafka apache-kafka-connect

我是kafka的新手,我在本地安装了默认配置的kafka 10。现在,我正面临着一个问题。 我正在从控制台制作人那里制作消息。如果消息大约是4096字节。然后,它从控制台消费者那里消费得很好。 但是当我从4096字节增加消息大小时。然后,消费它时消息被截断为大约4096字节。 我没有遇到问题。

发生了什么事? a)消息是否未完整发布。 b)消息是否被完全消耗。

注意:我没有对默认设置进行任何更改,我正在使用控制台生产者和消费者。

请任何人帮忙

2 个答案:

答案 0 :(得分:1)

可能出现问题,因为您正在使用控制台生产者并将消息复制到终端(linux),但终端将长消息截断为最大固定长度。

答案 1 :(得分:0)

您可能需要微调您的代理配置。 查看此页面:https://kafka.apache.org/documentation/#brokerconfigs

查找offset.metadata.max.bytes。默认值为4096.将此值设置为大于4096的值。如果不起作用,请查找其他配置。您的问题可能没有使用正确的配置。