定制处理器和背压,节流

时间:2017-07-03 13:09:40

标签: apache-nifi

NiFi 1.2.0

有一个自定义处理器从db读取数据并进一步传递。在最近的压力测试中,“成功”关系队列被阻塞,并且随着处理器转储了数十万个数GB的流文件,后续流程也被阻塞。显然,backpressuring没有实现。我还阅读了有关限制和背压的信息post

我想到的是背压是我们在关系队列中配置的,而像ControlRate这样的标准处理器可以帮助调节数据流。

问题:

处理器中是否需要额外的编码(例如:某些接口要实现)以使其能够“睡眠/停止消耗数据”以进行反压,或者一旦处理器的“成功”关系是NiFi框架处理的话配置为背压

1 个答案:

答案 0 :(得分:1)

无需额外编码。 NiFi框架为您管理背压,并在应用背压时停止呼叫您的处理器。