如何在apache nifi ConsumeKafka中的同一处理器中添加更多消费者

时间:2019-12-28 06:18:12

标签: apache-kafka apache-nifi

Kafka主题大约有100个分区,我正在使用Apache nifi ConsumeKafka从该kafka读取数据并发送其他服务器。

目前,此nifi消费卡夫卡处理器只有一个消费者,我希望拥有与分区匹配的消费者数量相似,我没有任何选择来增加消费者数量,目前我正在向同一消费者组添加新处理器,我虽然这种方法是正确的。

如何在相同的nifi消费者卡夫卡处理器中增加消费者?

1 个答案:

答案 0 :(得分:0)

如果您正在运行独立的 nifi 实例,将启动单个消费者线程。要增加线程数,您需要增加处理器上的“并发任务”,它会启动那么多线程。

在您的情况下,主题有 100 个分区,要获得最佳性能,您的使用者应该总共有 100 个线程。

You can find the property on this screen.