将Kafka主题的引线设置为-1

时间:2017-08-15 02:17:34

标签: apache-kafka

我正在使用Spark流在群集上使用kfka主题。我会重新使用我的流媒体应用程序,并希望再次阅读mnessages主题。

有没有办法在群集上重置kafka主题潜在客户?

当我描述主题时,我会得到以下描述:

Topic:mahditest PartitionCount:3        ReplicationFactor:2     Configs:
        Topic: mahditest        Partition: 0    Leader: 1020    Replicas: 1020,1019     Isr: 1020,1019

但是我需要为每个主题重复引导-1,以便我可以重新阅读这些消息。

1 个答案:

答案 0 :(得分:0)

取决于您存储偏移的位置,但如果您使用新的消费者API将它们存储在Kafka中,那么在Kafka 0.11中,您可以重置任何Kafka消费者的偏移(存储在__consumer_offsets主题中),如果您运行

  

$ kafka-consumer-groups.sh --bootstrap-server localhost:9092 - topic mahditest --group yourconsumer --reset-offsets --to-earliest --execute

在运行reset offsets命令之前,您应该关闭组中的所有使用者

此命令的0.11版本也可用于重置0.10.2群集上的偏移