我需要在NiFi处理器中做一些澄清。
由于每个处理器都有并发任务,如果我为处理器设置了并发任务,那么它会提高处理器的处理速度。但它会影响系统性能,如100%磁盘使用率,100%内存使用率等等。
是否还有其他方法可以在不使用并发任务的情况下加速处理器?
答案 0 :(得分:4)
引用@ joe-witt回复邮件列表:
对于支持它的处理器,请考虑使用25的运行持续时间 毫秒。这允许框架批处理许多操作 更少的交易可以大大提高吞吐量。
100%的内存使用率是个问题。增加堆大小或考虑 重新设计/简化流程。
应解决100%的磁盘使用量问题。确保每个存储库都在 物理上分开分区。如果无法做到这一点,请继续 介意他们会为彼此创造拥堵或考虑转换 到一个不稳定的起源库。
查看将内容完全加载到内存中的处理器的流程。 这会极大地损害性能。