Kafka主题大约有100个分区,我正在使用Apache nifi ConsumeKafka从该kafka读取数据并发送其他服务器。
目前,此nifi消费卡夫卡处理器只有一个消费者,我希望拥有与分区匹配的消费者数量相似,我没有任何选择来增加消费者数量,目前我正在向同一消费者组添加新处理器,我虽然这种方法是正确的。
如何在相同的nifi消费者卡夫卡处理器中增加消费者?
答案 0 :(得分:0)
如果您正在运行独立的 nifi 实例,将启动单个消费者线程。要增加线程数,您需要增加处理器上的“并发任务”,它会启动那么多线程。
在您的情况下,主题有 100 个分区,要获得最佳性能,您的使用者应该总共有 100 个线程。