卡夫卡主题分区

Question

Kafka主题分区偏移位置始终从0或随机值开始，如何确保消费者记录是分区中的第一条记录？有没有办法找出来？如果有的话请告诉我。感谢。

Answer 1

是和否。

当您开始一个新主题时，偏移量从零开始。根据您使用的Kafka版本，偏移量为

• 逻辑 - 并按消息递增消息（自0.8.0开始：https://issues.apache.org/jira/browse/KAFKA-506） - 或
• physical - 即，偏移量会增加每条消息的字节数。

此外，旧的日志条目由可配置的条件清除：

• 保留时间：例如，仅保留上周的消息
• 保留尺寸：例如，使用最大10GB的存储空间;删除无法再存储的旧邮件
• log-compaction（自0.8.1开始）：您只保留每个键的最新值（参见https://cwiki.apache.org/confluence/display/KAFKA/Log+Compaction）

因此，如果旧邮件被删除，第一个偏移量可能不为零。此外，如果打开日志压缩，可能会丢失一些偏移量。

在任何情况下，您总是可以安全地寻找任何偏移，因为Kafka可以判断偏移是否有效。对于无效偏移，将自动前进到下一个有效偏移。 因此，如果您寻求抵消零，您将始终获得存储的最旧消息。

Answer 2

是，Kafka偏移从0开始，以完整记录的字节长度结束，然后下一个记录从那里开始选择偏移量。

由于Kafka已经分发，因此我们无法保证消费者将以有序的方式获取数据。