NiFi 1.2.0
有一个自定义处理器从db读取数据并进一步传递。在最近的压力测试中,“成功”关系队列被阻塞,并且随着处理器转储了数十万个数GB的流文件,后续流程也被阻塞。显然,backpressuring没有实现。我还阅读了有关限制和背压的信息post。
我想到的是背压是我们在关系队列中配置的,而像ControlRate这样的标准处理器可以帮助调节数据流。
问题:
处理器中是否需要额外的编码(例如:某些接口要实现)以使其能够“睡眠/停止消耗数据”以进行反压,或者一旦处理器的“成功”关系是NiFi框架处理的话配置为背压
答案 0 :(得分:1)
无需额外编码。 NiFi框架为您管理背压,并在应用背压时停止呼叫您的处理器。