在Nifi中几次分裂后合并Json

时间:2019-05-06 11:37:34

标签: json bigdata apache-nifi data-processing

为了避免OOM错误,我几次拆分了Json。我已经放置了一个Wait处理器,以等待我所有的记录都使用Merge内容。已为每个FF分配了原始文件行数的属性。

等待处理器应将FF置于等待状态,直到通知将计数器增加到总行数为止。

但是,似乎我的Wait处理器没有将FF放入Wait队列中(未显示,但是有)。

这种流畅的流程有什么问题吗?

enter image description here

1 个答案:

答案 0 :(得分:0)

您可以通过在每个Split之后使用UpdateAttribute来进行多个合并,以将fragment.*属性另存为其他内容,例如fragment1.*fragment2.*等。然后,您可以将每个属性还原到在每个合并之前使用UpdateAttribute进行逆序处理,将fragment.*设置为fragment2.*属性,然后设置MergeContent,然后将fragment.*设置为fragment1.*属性,然后设置MergeContent,依此类推。 / p>