标签: scala spark-streaming kafka-consumer-api
我们正在使用Spark Direct Streaming从Kafka主题中读取数据。
我们还配置了Checkpoint位置。例如,如果我删除检查点位置并重新部署/重新启动应用程序,它是否会从头开始提取数据?
我希望,在基于消费者的方法中,当我更改组ID时,它将从头开始提取数据。
更新:似乎我们可以使用auto.offset.reset' configuration in Kafka params to最小的`,然后它将从最小的开始消耗。
auto.offset.reset' configuration in Kafka params to