阅读来自kafka的最新消息-segmentio / kafka-go

Question

我正在使用segmentio / kafka-go客户端读取主题中的消息。 我找不到..如何从上一封/新邮件开始阅读。

每次我启动代码时，它都会从该分区的偏移开始读取。

Answer 1

关于使用来自Kafka的消息的信息，您需要了解的是，每个客户客户端都是Consumer Group的一部分。 Kafka存储主题的每个使用者组的已处理偏移量，因此它知道在使用者客户端已停止并重新启动的情况下继续操作的位置。这样，可以避免多次读取相同的消息。此信息存储在内部__fest_offsets的Kafka主题中。

在您的情况下，这意味着必须确保指定使用者组（在KafkaConsumer API中，它是配置“ group.id”）并保持不变。只有这样，您才可以继续阅读最新消息，而不是每次都从头开始。当然，您必须从头开始使用该主题。