随机有效消息的Kafka消息发布失败,如何解决这个问题?

时间:2018-02-02 13:27:36

标签: apache-kafka kafka-producer-api spring-kafka jms-topic

我们在我们的应用程序中使用kafka,我们发送了太多的消息,每条消息的大小都很小,我的意思是消息大小不是问题,如果你尝试向kafka主题发布太多消息,那么它们是否有任何问题有些消息无法发布?

m_IOPCItemMgt

我们可以设置他们的任何kafka配置,以便我们可以克服这个问题吗?

注意:调用太多,我的意思是一个发送方法调用,一个消息。

如上所述,每个消息都不是太大,在样本

下面给出
"Publishing error messages to kafka topic failed400 "

这是最大尺寸

1 个答案:

答案 0 :(得分:0)

你没有说你的消息有多大,但我会尝试增加linger.ms

linger.ms是生产者等待查看是否发送了另一条消息的毫秒数。如果在该时间内发送了另一条消息,则两条消息将在一次呼叫中进行批处理。这可能有助于你的情况。

batch.size设置给出了一批消息的最大大小。即使逗留持续时间仍然有效,达到大于batch.size的组合邮件大小也会立即发送批次。

只是不要将linger.ms设置得太高。在达到该持续时间结束之前不会发送任何内容,除非批量消息当然超出batch.size