在具有单个分区的Kafka记录中，我可以插入的最大记录数是多少？

Question

我想知道如何对卡夫卡记录进行编号/标识。如果我继续不断地涌入数据怎么办？难道它不会溢出吗？。

Answer 1

它不会溢出。它一直将消息追加到日志末尾。对于单个分区，您仅受经纪人磁盘上可用空间的限制。

可以将主题配置为具有保留属性，以将数据保留到一定的时间，大小或无限期。

请参见https://kafka.apache.org/documentation/#intro_topics

Answer 2

Apache Kafka根据代理的可用磁盘空间连续存储记录。这些记录是不可变的。每个主题都有用户指定的分区数。每个分区都是细分的集合。

分区-细分集合

什么是细分？

段是具有两个索引的文件-起始索引和结束索引。

每个分区都有一个段体系结构，您可以在其中指定段的偏移范围。一旦偏移范围已满，它将创建一个新段。您在其中生成记录的细分称为活动细分。