区分kafka中的已读和未读消息

Question

我们有什么方法可以找到

• 消息尚未消耗的偏移量或时间戳

• 已消耗的最后一个时间戳

或使用storm

区分kafka中的已读和未读消息

Answer 1

Finding Starting Offset for Reads

  

现在定义从哪里开始读取数据。卡夫卡包括两个常数   为了帮助，kafka.api.OffsetRequest.EarliestTime（）找到了开头   日志中的数据并从那里开始流式传输，   kafka.api.OffsetRequest.LatestTime（）只会传输新邮件。   不要假设偏移量0是起始偏移量，因为消息会老化   随着时间的推移而退出。

该文档详细解释了使用Simple Consumer API的偏移处理。你应该找到你想要的东西。

如果您在处理邮件偏移时遇到问题，请尝试共享一些代码段。它有助于以更好的方式理解问题。或者如果您只是想知道这个概念，那么您应该首先浏览documentation和wiki页面。