如何在Apache Nifi中合并分区的Json

时间:2019-05-03 11:07:07

标签: json merge apache-nifi dataflow

嗨,我正在分割大小从2 GB到3 GB的Json文件。
我应该如何设置“合并内容”处理器以使其具有原始文件?
合并后,我面临的问题是同一流文件有多个部分,这可能是我设置了错误的限制。
您知道解决这个问题的热情吗?
我关注的是这些属性:

-最小条目数
-最大条目数
-最小团体人数
-最大组大小

1 个答案:

答案 0 :(得分:2)

要重建拆分文件,您需要在碎片整理模式下使用MergeContent。我相信这会忽略所有的entry和size属性,而只会使用拆分处理器放置在每个流文件上的“片段”属性,并将所有片段合并回去。