在Apache Flink中如何从Kafka消耗消息?

时间:2019-09-06 04:34:36

标签: apache-kafka apache-flink

我知道每次都会减少一批数据以减少网络呼叫,但是消耗速率仅取决于源运营商还是Sink的确认也很重要?在这种情况下如何处理突发事件?

1 个答案:

答案 0 :(得分:0)

源极和漏极耦合松散。如果接收器无法跟上,则将导致反向压力,该反向压力将在作业图中级联,从而阻止源向下游写入数据的速度快于被消耗的速度,这将减慢读取速度。 (从而匹配接收器)。

有关更多信息,请参见How Apache Flink handles backpressure