Flink:state.checkpoints.dir的本地目录

时间:2019-08-26 00:04:48

标签: apache-flink

我试图了解使用本地目录的含义,例如file:///checkpoints/的{​​{1}}。我的困惑是1)可能有多个TaskManager,这是否意味着每个TaskManager都会将自己的检查点保存到本地磁盘? 2)可以在Kubernetes这样的环境中工作吗?因为Pod可能会在集群中移动。

1 个答案:

答案 0 :(得分:2)

这行不通。 state.checkpoints.dir必须是集群中每台机器均可访问的URI,即某种分布式文件系统。对于在任务管理器发生故障或需要重新分配状态以进行重新缩放的情况下进行恢复,这是必需的。

您可能还希望每个TaskManager在本地额外保留其状态的副本,以便更快地恢复;有关该选项的信息,请参见Task Local Recovery