Kafka可变事件有效负载大小

Question

我正在尝试找出产生卡夫卡的最佳活动规模。我可能会遇到1KB至20KB的事件，想知道这是否会成为问题。

我可能会对生产者进行一些更改，以使它们的大小都大致相似，例如1KB-3KB。这会是一个优势，还是Kafka的可变事件大小不会有问题？

Kafka是否有最佳的事件大小，还是取决于配置的细分设置？

谢谢。

Answer 1

默认情况下，Kafka支持多达1MB的消息and this can be changed to be larger，这当然会牺牲网络IO和延迟，因为这样做会使它变大。

话虽这么说，我认为消息的大小是否与您正在谈论的数据大小保持一致并不重要。

如果您真的想压缩有效载荷，可以look into different serialization frameworks and compression algorithms在Kafka API中提供。