Apache Kafka：我可以手动设置偏移量

Question

所以我使用Apache Kafka作为消息队列来将Twitter Stream转发给我的消费者。如果我想回去，我想要一个值（偏移），我可以发送卡夫卡。所以，对于例如，如果我想有一天回去，我不知道偏移是什么。

因此，我可以手动设置偏移量吗？也许是linux / epoch时间戳？

Answer 1

看不出那是怎么可能的，但你可以：

• 使用Kafka的API获取早于给定时间的偏移量（getOffsetBefore）。请注意，粒度取决于您的存储文件大小IIRC，因此您可以获得比指定时间早一点的偏移
• 在邮件本身中保留时间戳，并将其与上述内容结合使用以跳过邮件
• 保留外部时间索引 - >自行偏移并使用