在Apache Nifi中使用Wait / Notify合并big Json

时间:2019-05-03 15:44:48

标签: json bigdata apache-nifi data-processing

使用Nifi时,我的数据流遇到了麻烦,当然,因为我不了解Wit / Notify的工作原理。这是我的基本数据流:
-我列出了包含zip文件的s3存储桶。
-从zip提取我的Json文件。每个Json都是2 Gb到3 Gb。
-然后我将json拆分了几次,以避免“内存不足”来获取唱记录FlowFiles(这是麻烦)。
-我要展平每个流文件
-我想合并展平的FF以重新获得原始的Json。我知道我无法使用“合并内容”。

能否请您解释一下如何使用等待/通知?因为我不明白。我也看着this post,但仍不清楚。
谢谢

0 个答案:

没有答案