过去2个月来我一直在研究Nifi,目前正在部署并尝试优化生产环境中的某些数据流,但我无所适从如何进行微调。
仅供参考,Nifi群集有3个节点,每个节点有48个核心。
根据一些文章,它说最大驱动程序线程数可以是 2〜4 *每个节点上的可用核心数*节点数,这意味着我可以将其设置为48 *最多3 * 4 = 846。 (请注意,服务器上的总共168个内核已由其他应用程序共享)
在这种情况下
此外,瓶颈处理器分别是2个ExcuteStreamCommand处理器和1个PutHDFS处理器,分别是CPU密集型和IO密集型。
如何改善IO密集型处理器?给它分配一些并发任务就足够了吗?
总体而言,如何说数据流得到了优化?是不是所有连接队列都都满的那个人?
最后,我怎么知道CPU的利用率好?例如,如果一个节点上的平均核心负载接近48,并且该节点具有48个核心,则意味着CPU利用率为100%?
很抱歉提出了许多问题,包括基本问题,但如果您能给我一些微调方面的指导,我们深表感谢。