崩溃时在Flink Task Manager中发生什么状态？

Question

我可以知道当此任务管理器崩溃时，存储在Flink任务管理器中的状态如何。假设状态存储是rocksdb，这些数据是否会传输到其他正在运行的任务管理器，以便完整的状态数据可用于数据处理？

Answer 1

Flink目前还不支持状态的动态重缩放，因此必须恢复失败的任务管理器，并且作业将从检查点重新启动。

确切涉及的内容取决于集群的配置方式，以及作业是否由于异常而失败，还是因为运行任务管理器的机器/容器失败。

如果您使用的是RocksDB并且启用了本地恢复，则如果作业因异常而终止，任务管理器都将或多或少立即从其本地状态副本重新启动作业。另一方面，如果必须启动新的任务管理器，则一旦它运行，它将从最新的检查点（从使用的任何分布式文件系统）获取所需的内容，然后作业将恢复。

在没有本地恢复的情况下，每个任务管理器都必须从DFS中获取检查点的相关部分。

在某些情况下，可以做比完全恢复便宜的事情。有关详细信息，请参见fine-grained recovery。