我们在我们的应用程序中使用kafka,我们发送了太多的消息,每条消息的大小都很小,我的意思是消息大小不是问题,如果你尝试向kafka主题发布太多消息,那么它们是否有任何问题有些消息无法发布?
m_IOPCItemMgt
我们可以设置他们的任何kafka配置,以便我们可以克服这个问题吗?
注意:调用太多,我的意思是一个发送方法调用,一个消息。
如上所述,每个消息都不是太大,在样本
下面给出"Publishing error messages to kafka topic failed400 "
这是最大尺寸
答案 0 :(得分:0)
你没有说你的消息有多大,但我会尝试增加linger.ms
linger.ms是生产者等待查看是否发送了另一条消息的毫秒数。如果在该时间内发送了另一条消息,则两条消息将在一次呼叫中进行批处理。这可能有助于你的情况。
batch.size设置给出了一批消息的最大大小。即使逗留持续时间仍然有效,达到大于batch.size的组合邮件大小也会立即发送批次。
只是不要将linger.ms设置得太高。在达到该持续时间结束之前不会发送任何内容,除非批量消息当然超出batch.size