Kafka性能与大小以GB为单位的消息

Question

我知道当消息大小从字节到几MB时，kafka在更大的消息上表现更好。但是，当消息大小范围从千字节到千兆字节时，上述相关性是否成立？

基本上，我有一个用例，生产者会发出大量的消息 - 我不能将大消息分解成更小的消息，因为我需要以原子方式处理它。

Answer 1

考虑不将数据放入消息中。如：在其他地方转储消息主体并发送链接或引用号码。暂时忽略Kafka - 如果您开始通过发布/订阅分发此大小的邮件，您将非常快速且轻松地使任何合理的网络和处理基础架构超载。 100g不是大多数公司的网络。甚至10G也是个问题。 1Gb需要10秒才能在EMPTY 1千兆位链路上进行传输。

我会挑战任何架构推动数据的敏感性。