我刚刚开始阅读有关Flink的文章,想了解更多有关Flink如何处理背压以及在存在背压时如何处理故障的信息。我已经阅读过数据制作工匠https://data-artisans.com/blog/how-flink-handles-backpressure撰写的这篇博客文章,并且对缓冲池的概念以及它们如何处理背压有所了解。
我的问题是
(1)在远程交换的情况下(当任务在不同的节点上并且缓冲区被复制到有线TCP时)水印有何帮助?请在上面的博客中阅读。
(2)如果系统面对背压时发生故障,该如何处理?
(3)只是用于恢复的异步检查点吗?该检查点包括哪些内容?
(4)在检查点中捕获了多少缓冲池的数据状态?
答案 0 :(得分:0)
了解Flink网络堆栈当前行为的最佳资源是Nico Kruber在Flink Forward Berlin 2018上的演讲:Improving throughput and latency with Flink’s network stack。
对于检查点,Data Streaming Fault Tolerance对其工作方式以及每个快照中捕获的数据进行了非常详尽的解释。