Nifi:如何通过并发和最大驱动程序线程数进行性能优化的微调

时间:2019-07-19 06:25:20

标签: apache-nifi

过去2个月来我一直在研究Nifi,目前正在部署并尝试优化生产环境中的某些数据流,但我无所适从如何进行微调。

仅供参考,Nifi群集有3个节点,每个节点有48个核心。

根据一些文章,它说最大驱动程序线程数可以是 2〜4 *每个节点上的可用核心数*节点数,这意味着我可以将其设置为48 *最多3 * 4 = 846。 (请注意,服务器上的总共168个内核已由其他应用程序共享)

在这种情况下

  1. 如何设置最大驱动程序线程数和并发任务?
  2. 是否应该将并发任务增加到瓶颈处理器,以使所有处理器的并发任务总数几乎等于最大驱动程序线程数?

此外,瓶颈处理器分别是2个ExcuteStreamCommand处理器和1个PutHDFS处理器,分别是CPU密集型和IO密集型。

  1. 如何改善IO密集型处理器?给它分配一些并发任务就足够了吗?

  2. 总体而言,如何说数据流得到了优化?是不是所有连接队列都都满的那个人?

  3. 最后,我怎么知道CPU的利用率好?例如,如果一个节点上的平均核心负载接近48,并且该节点具有48个核心,则意味着CPU利用率为100%?

很抱歉提出了许多问题,包括基本问题,但如果您能给我一些微调方面的指导,我们深表感谢。

0 个答案:

没有答案