保留期后的卡夫卡抵消

时间:2016-10-25 23:11:21

标签: apache-kafka kafka-consumer-api kafka-producer-api

我有一个带有1个分区的kafka主题。如果它中有100条消息,则偏移量将为0.99。

根据kafka保留政策,所有邮件将在指定期限后消失。

并且一旦消除了所有内容(保留期后),我将向该主题发送100条新消息。现在,消息的新偏移量从哪里开始?是100还是0?

我试图了解新的偏移量是100-199还是0-99?

1 个答案:

答案 0 :(得分:8)

Kafka通过删除满足谓词的日志段来尊重日志保留策略,并且它不会永远不会删除活动日志段,这意味着将始终保留活动日志段的基本偏移量。

至于您的示例,如果第一批100条消息都在同一个日志段中,Kafka将创建一个基本偏移量为100的新日志段,并在日志保留期限之后删除旧段时间飞逝。因此,新消息在100处开始偏移。