Spark Direct Stream - 如何从头开始获取主题数据

时间:2017-02-13 09:46:57

标签: scala spark-streaming kafka-consumer-api

我们正在使用Spark Direct Streaming从Kafka主题中读取数据。

我们还配置了Checkpoint位置。例如,如果我删除检查点位置并重新部署/重新启动应用程序,它是否会从头开始提取数据?

我希望,在基于消费者的方法中,当我更改组ID时,它将从头开始提取数据。

更新:似乎我们可以使用auto.offset.reset' configuration in Kafka params to最小的`,然后它将从最小的开始消耗。

0 个答案:

没有答案