我正在使用Spark流在群集上使用kfka主题。我会重新使用我的流媒体应用程序,并希望再次阅读mnessages主题。
有没有办法在群集上重置kafka主题潜在客户?
当我描述主题时,我会得到以下描述:
Topic:mahditest PartitionCount:3 ReplicationFactor:2 Configs:
Topic: mahditest Partition: 0 Leader: 1020 Replicas: 1020,1019 Isr: 1020,1019
但是我需要为每个主题重复引导-1,以便我可以重新阅读这些消息。
答案 0 :(得分:0)
取决于您存储偏移的位置,但如果您使用新的消费者API将它们存储在Kafka中,那么在Kafka 0.11中,您可以重置任何Kafka消费者的偏移(存储在__consumer_offsets主题中),如果您运行
$ kafka-consumer-groups.sh --bootstrap-server localhost:9092 - topic mahditest --group yourconsumer --reset-offsets --to-earliest --execute
在运行reset offsets命令之前,您应该关闭组中的所有使用者
此命令的0.11版本也可用于重置0.10.2群集上的偏移