偏移量如何保存在保存点中

时间:2019-06-02 18:26:24

标签: apache-kafka apache-flink flink-streaming

我们将kafka用作管道的来源。我想将现有状态从生产环境转移到新环境。我的问题是新环境中的偏移量会怎样?因为我们从生产中获取了保存点并将偏移量保存在保存点中,这是否意味着在新环境中,该作业将开始使用具有生产偏移量的消息,或者实际上是从新消息开始,例如新的消费者? >

1 个答案:

答案 0 :(得分:0)

如果您从保存点重新启动新作业,则新作业中的偏移将从保存点中存储的偏移开始,如下所示:

$ bin/flink run -s :savepointPath [:runArgs]

相关文档包括本节有关Kafka Consumers Start Position Configuration的最后一段,其中指出

  

请注意,当作业自动从故障中恢复或使用保存点手动恢复时,这些起始位置配置方法不会影响起始位置。还原时,每个Kafka分区的开始位置由保存点或检查点中存储的偏移量确定。

以及关于Resuming from Savepoints的本节。