Apache Nifi多个处理器具有相同的关系

Question

如下图所示，我将2个处理器添加到另一个处理器的相同关系中，它将流文件平均分配到两个尾部处理器中。这是预期的行为吗？如果是，那么在什么基础上进行分区？

Answer 1

将相同关系发送到多个处理器不会对流文件进行分区，而是将所有文件发送到两个关系。通常，当您要将相同的数据发送到多个目标位置（例如，HDFS和Kafka）时，通常会这样做。

如果要提高PutAzureBlobStorage的并发性，则将拥有一个处理器实例，并在处理器的“调度”选项卡中增加并发任务。

Answer 2

我要在NiFi群集中分配负载，有不同的方法：

• 使用Kafka在整个群集中发送消息（任务）。
• 使用Site-2-Site。
• 使用处理器侦听传入的连接（HandleHttpRequest，ListenSyslog和ListenUDP）和负载均衡器来推送数据。

更多信息： https://community.hortonworks.com/articles/16120/how-do-i-distribute-data-across-a-nifi-cluster.html