kafka的最小记录开销是多少？

Question

我们假设我们有一个简单的设置，我们通过Topic1汇总事件批处理，在工作者中使用它们将它们分开并重新发布到Topic2。我们的批次是最多1000个事件，在某些情况下，我们看到我们的下游Topic2是Topic1的5倍。

我想知道kafka主题中单个记录的有效负载有多少数据，最简单的情况是没有特殊标头？并且每个事件的记录额外开销是否会导致给定数据集的数据占用量的5倍？

Answer 1

这是生成记录here的完整邮件格式。你不应该看到5倍以上的数据。我建议使用控制台消费者消费一些消息，看看消息中添加了什么。