apache nifi S3 PutObject卡住

Question

很抱歉，这是一个愚蠢的问题，对nifi来说是很新的东西。

已设置一个进程组以将sql查询转储到CSV，然后将其上传到S3。小型查询工作正常，但似乎卡在较大的文件中。

PutS3Object处理器的输入队列限制为1GB，但是它试图放入的文件几乎为2 GB。我已将S3处理器中的多部分参数设置为100M，但仍然卡住。

所以我的理论是S3PutObject在开始上传之前需要一个完整的文件。它是否正确？有没有办法让它以“流”方式上传？还是只需要增加输入队列的大小？

或者我走错了方向，还有其他原因阻碍了一切。

Answer 1

屏幕截图显示大文件位于PutS3Object的输入队列中，并且PutS3Object正在积极处理它（从处理器框右上方的1线程指示器）。

事实证明，没有错误，只是处理大文件的延迟。