我构建了一个3主机nifi群集。它工作但我不能使用平衡器。我所能做的就是直接连接到一台主机。有人用平衡器设置了一个nifi集群吗? I.E.你如何处理证书问题?
答案 0 :(得分:1)
您是否尝试对UI交互或特定处理器/输入源进行负载平衡?借助NiFi的零主集群(ZMC),可在1.0.0+中使用,您可以连接到任何连接节点的UI,并监控和监控。修改流程。如果您正在尝试对输入数据进行负载平衡,我建议您在主节点上运行单点入口处理器(参见下面的摘录),然后在整个群集中分发数据,或者如果您确实需要立即进行负载平衡性能,可能设置类似HAProxy或其他前端负载均衡器(甚至是循环DNS)并指向所有可用节点。
如果您尝试在群集中加载平衡工作,Remote Process Groups允许transmission between nodes,则会自动平衡可用NiFi节点上的数据。
主节点:每个群集都有一个主节点。在此节点上,可以运行“隔离处理器”(见下文)。 ZooKeeper用于自动选择主节点。如果该节点由于任何原因断开与群集的连接,将自动选择新的主节点。用户可以通过查看用户界面的“群集管理”页面来确定当前选择哪个节点作为主节点。
隔离处理器:在NiFi集群中,相同的数据流在所有节点上运行。因此,流中的每个组件都在每个节点上运行。但是,可能存在DFM不希望每个处理器在每个节点上运行的情况。最常见的情况是使用的处理器使用不能很好扩展的协议与外部服务进行通信。例如,GetSFTP处理器从远程目录中提取,如果GetSFTP处理器在群集中的每个节点上运行,同时尝试从同一个远程目录中提取,则可能存在竞争条件。因此,DFM可以将主节点上的GetSFTP配置为独立运行,这意味着它仅在该节点上运行。它可以提取数据,并且 - 通过适当的数据流配置 - 在集群中的其余节点之间对其进行负载平衡。请注意,虽然存在此功能,但仅使用独立的NiFi实例来提取数据并将其提供给群集也很常见。它只取决于可用资源以及管理员如何决定配置群集。