我们将kafka用作管道的来源。我想将现有状态从生产环境转移到新环境。我的问题是新环境中的偏移量会怎样?因为我们从生产中获取了保存点并将偏移量保存在保存点中,这是否意味着在新环境中,该作业将开始使用具有生产偏移量的消息,或者实际上是从新消息开始,例如新的消费者? >
答案 0 :(得分:0)
如果您从保存点重新启动新作业,则新作业中的偏移将从保存点中存储的偏移开始,如下所示:
$ bin/flink run -s :savepointPath [:runArgs]
相关文档包括本节有关Kafka Consumers Start Position Configuration的最后一段,其中指出
请注意,当作业自动从故障中恢复或使用保存点手动恢复时,这些起始位置配置方法不会影响起始位置。还原时,每个Kafka分区的开始位置由保存点或检查点中存储的偏移量确定。
以及关于Resuming from Savepoints的本节。