如何处理flink流媒体工作中的背压？

Question

我正在运行一个流式flink作业，它消耗来自kafka的流数据并对flink map函数中的数据进行一些处理，并将数据写入Azure数据湖和弹性搜索。对于map函数，我使用了一个并行性，因为我需要在作为全局变量维护的数据列表中逐个处理传入数据。现在当我运行这个工作时，flink开始从kafka获取流数据，它的背压在map函数中变得很高。是否有任何设置或配置可以避免flink中的背压？

Answer 1

给定运算符上的背压表示 next 运算符正在慢慢消耗元素。根据你的描述，似乎其中一个接收器表现不佳。考虑扩展接收器，注释掉接收器以进行故障排除，和/或调查您是否达到Azure速率限制。