手动设置kafka组ID的偏移量

时间:2017-06-24 08:19:44

标签: c# apache-kafka confluent confluent-kafka

我使用Confluent平台(v3.2.0)设置了我的kafka平台。

我的消费者/制作者 - 应用程序使用NuGet包“Confluent-Kafka”在C#中编程,以便向我的kafka流添加/获取数据。

我想知道是否可以为某个主题设置特定消费者群组ID的偏移量,以便具有该群组ID的消费者“回滚”到我设置的偏移量?

我的想法是能够在我的消费者应用程序之外执行此操作,优先选择我需要构建的管理员。我只需要知道如何与kafka平台进行沟通。可以使用cli命令或rest api来完成吗?

2 个答案:

答案 0 :(得分:2)

在Apache Kafka 0.11(Confluent platform v3.3)中,bin / kafka-consumer-groups命令行工具有新选项,允许重置消费者组的偏移量。您可以根据数字偏移或时间设置偏移。您还可以执行相对偏移调整,例如快退100条消息或返回5分钟。

https://cwiki.apache.org/confluence/display/KAFKA/KIP-122%3A+Add+Reset+Consumer+Group+Offsets+tooling

case class CarBinding(ownerId: Var[String], specs: Var[Option[Specs]])

答案 1 :(得分:1)

您可以从协调员处获得作业。见这里的最后一条消息:

https://github.com/confluentinc/confluent-kafka-dotnet/issues/141 使用当前的API,您无法跳转或返回分区,您将不得不再次取消订阅/订阅,但您可以在代码中轻松添加此