Flume 1.7＆amp; Kafka - 如何在主题开头重新启动？

Question

我使用Flume 1.7 Kafka source将数据从Apache Kafka中提取到我的AbstractSink。在过去，我可以通过使用./kafka-consumer-groups.sh --delete删除主题偏移来重新启动主题开头的偏移，但是因为Flume 1.7（显然）使用了＆＃34; new＆＃34;消费者，尝试./kafka-consumer-groups.sh --delete现在提供以下错误消息：

  

选项[删除]对[new-consumer]无效。请注意，没有   需要删除新消费者的组元数据   最后一个成员离开时自动删除

那么，实现所需行为的推荐方法是什么（我们将从主题的开头重新处理数据）？

这是我的水槽配置的一部分：

myagent.sources.my-kafka-source.type = org.apache.flume.source.kafka.KafkaSource
myagent.sources.my-kafka-source.kafka.bootstrap.servers = kafka.example.net:9092
myagent.sources.my-kafka-source.kafka.consumer.group.id = my-gid
myagent.sources.my-kafka-source.kafka.topics = my.topic
myagent.sources.my-kafka-source.kafka.auto.offset.reset = earliest
myagent.sources.my-kafka-source.channels = my_channel

Answer 1

Flume不提供对倒带功能的直接支持，尽管kafka附带了KafkaConsumer＃seek，允许您重新使用这些消息。似乎您必须使用新的组ID来执行此操作，这需要重新启动Flume代理。