如何将Kafka使用者组的偏移量重置/回滚到特定小时?

时间:2017-05-04 09:07:57

标签: apache-kafka logstash apache-zookeeper

我使用Logstash从Kafka主题获取数据并将其插入Elasticsearch。由于Logstash中的一些配置错误导致数据损坏,我想从昨天2点钟开始重新使用该主题。这可能吗?

1 个答案:

答案 0 :(得分:1)

目前,kafka Logstash input不支持在Kafka 0.10中引入的时间戳搜索功能。

Suyog Rao(Logstash团队负责人)已经working on a feature branch添加了这个功能,但是上次我检查它因为comment mentioned on lines 292-294而没有工作,即

  

这不起作用,因为还没有分区分配:(   见https://issues.apache.org/jira/browse/KAFKA-2359   我们需要调用poll()然后查找哪些没有意义并且可能丢失数据