详细信息：Flink如何实现一次机制？

Question

从上一个post开始，Flink似乎一次实现

  

成功进行预提交后，必须保证提交   最终成功

我认为Flink Task Manager实现了“成功的预提交”； Flink接收器实现了“最终成功”。

1. Flink接收器节点如何实现“最终成功”？
2. 此一次机制与检查点是否有关系？

Answer 1

Flink的两阶段提交接收器通常通过以下方式将其操作与检查点机制耦合：

• onSnapshot ：刷新所有记录并预先提交
• onCheckpointComplete ：提交待处理事务并发布数据
• onRecovery ：检查并提交所有未决事务

请注意，如果外部系统超时在 onRecovery 阶段提交的未决事务，数据可能会丢失。

您可以在An Overview of End-to-End Exactly-Once Processing in Apache Flink (with Apache Kafka, too!)中了解更多信息。