如何使用Apache Nifi在多个节点上运行Kafka Consumer处理器实例

时间:2019-08-04 15:52:28

标签: apache-kafka apache-nifi

当前,我们正在使用Apache NiFi通过Kafka使用者使用消息。卡夫卡消费者的输出连接到配置单元处理器。

我正在研究如何在nifi集群上运行kafka消费者实例。

我有3个nifi群集节点和一个具有3个分区的kafka主题,我希望kafka使用者能够在每个节点上运行,以便每个使用者都可以从一个主题分区中轮询消息。

启动kafka使用者处理器后,我只能看到kafka使用者始终在单个节点上运行,而不是在所有节点上运行。

我错过了任何配置吗?

1 个答案:

答案 0 :(得分:0)

NiFi使用Apache Kafka客户端,该客户端执行消费者到分区的分配。启动处理器时,假设已将其设置为1个并发任务,那么在群集的每个节点上应该有1个使用者,并且每个使用者都应分配有不同的分区。

https://bryanbende.com/development/2016/09/15/apache-nifi-and-apache-kafka