NiFi流程组性能(输出端口)

时间:2018-07-26 11:30:02

标签: apache-nifi

我使用NiFi流程组来简化整个流程的视图。 但是,要使用进程组,我们必须将输出传递到输出端口,然后必须通过该输出端口从该进程组提供下一个处理器。

我注意到这样做会导致性能下降。尽管文件在上游进程组的输出端口中“可用”,但似乎下游处理器正在等待输出端口发送文件。

我删除了进程组并直接连接了处理器,并且看到了流程方面的巨大改进。尽管这看起来很凌乱且不可读(这是使用进程组的目的)。

输出端口中没有可用的配置,似乎只是一种传递机制(应该是),但我不确定为什么它会成为瓶颈。

对此有任何看法或见解会很有帮助

1)较慢的选项:输入----->进程组(包含输入端口+提取文本+替换文本+输出端口)------>输出

2)执行流程更快:输入------->提取文本+替换文本------------>输出

1 个答案:

答案 0 :(得分:0)

HCC上有thread

需要研究的一些事情

  1. 如果队列中太多,可能会发生交换
  2. 基于计时器的微批处理用于在进程组之间移动数据,这本身不应增加大量开销,但是您需要确保将“最大计时器驱动线程数”设置得足够高