在没有OOM的Apache Nifi中将大数据流式传输到flowfile

Question

我使用apache nifi来处理大文件。所以输出流文件也会很大。怎么处理这个？也许使用session.append(byte []);或使用一些/tmpdir来存储。例如，我的文件是10Gb，处理器产生8Gb，因此JVM将失败并显示OOM。

Answer 1

您需要将JVM的堆大小设置为足以处理此大小（即-Xmx=20GB中的bootstrap.conf）。当然，流媒体方法也会有所帮助。查看现有示例ReplaceText，了解如何处理流式处理。