我正在使用sparkstreaming从Kafka消费，想想如果在消费者方面发生了一些崩溃或类似事件。我不担心重复记录，但我不能错过任何一条记录。 如果我重新启动我的消费者，我就不会从我离开的地方继续。我想通过检查点我能做到吗？我不知道。 但在最坏的情况下，我想检查从kafka主题中最老的记录中运行我的消费者的可能性。
答案 0 :(得分：2)
您可以使用我想要的消费者组在kafka中重置偏移量。它应该从开始自动消耗消息。以下命令可能会对您有所帮助。
kafka-consumer-groups.bat --bootstrap-server kafka-host:9092 --group my-group --reset-offsets --to-earliest --all-topics --execute
编辑1 ：如果您只想重置特定主题的偏移量，可以将--all-topics替换为--topic <topicname>
编辑2 ：不要忘记。 auto.offset.reset使用者配置应设置为earliest