Apache Flink:体系结构问题:背压和处理失败模式

时间:2018-11-15 17:35:31

标签: apache-flink backpressure

我刚刚开始阅读有关Flink的文章,想了解更多有关Flink如何处理背压以及在存在背压时如何处理故障的信息。我已经阅读过数据制作工匠https://data-artisans.com/blog/how-flink-handles-backpressure撰写的这篇博客文章,并且对缓冲池的概念以及它们如何处理背压有所了解。

我的问题是

(1)在远程交换的情况下(当任务在不同的节点上并且缓冲区被复制到有线TCP时)水印有何帮助?请在上面的博客中阅读。

(2)如果系统面对背压时发生故障,该如何处理?

(3)只是用于恢复的异步检查点吗?该检查点包括哪些内容?

(4)在检查点中捕获了多少缓冲池的数据状态?

1 个答案:

答案 0 :(得分:0)

了解Flink网络堆栈当前行为的最佳资源是Nico Kruber在Flink Forward Berlin 2018上的演讲:Improving throughput and latency with Flink’s network stack

对于检查点,Data Streaming Fault Tolerance对其工作方式以及每个快照中捕获的数据进行了非常详尽的解释。