Nifi:使用MergeContent Processor合并所有必要的流文件

时间:2019-05-29 08:27:00

标签: merge apache-nifi

这是有关Nifi中MergeContent处理器的问题。 当前,我需要以一种简单的方式将所有流文件与一个特定的属性结合在一起。

但是发生的是,因为有太多具有相同属性的flowFile, 处理器会生成一些与属性合并的不同流文件,应将这几个文件合并为一个大流文件。

它们是否有办法等待所有具有相同属性的流文件进入MergeContent处理器并一次合并所有这些文件?

如果没有,那有什么替代方法?

2 个答案:

答案 0 :(得分:1)

您可以根据自己的使用情况增加“最小条目数”和“最大条目数”,并将“最大箱龄”增加到合适的时间。

您可以在此处引用合并内容的所有属性:https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.6.0/org.apache.nifi.processors.standard.MergeContent/index.html

此外,您是在集群中还是单独使用nifi?因为一个节点中的流文件无法与另一节点中的流文件合并。

例如,如果您使用的nifi集群有5个节点,每个节点有10个流文件。使用合并内容处理器后,您将拥有5个文件。

让我知道您是否需要进一步的帮助!

答案 1 :(得分:0)

在MergeContent处理器之前,应为连接器配置“单节点”负载平衡策略,以确保只有1个节点可以处理碎片整理。