Apache NiFi GetMongoProcessor-无法连续产生流文件

Question

我设法使用GetMongo Processor将NiFi连接到MongoDB。我正在使用查询来限制从MongoDB返回的数据量，但它仍然是数百万条记录。我已经执行了GetMongo处理器，并且期望从mongo db游标读取记录时，它将被批处理并最终写入流文件中。 这没有发生。记录从MongoDB流出（基于tcpdump和网络流量），但是在仍从游标中获取结果的同时，没有发出流文件。

在获取记录10分钟后查看状态：

仅出于测试目的，当我将“ limit”参数设置为仅获取100条记录时，将发出流文件。但是我不希望只有100条记录，我希望所有记录都与查询匹配。

我可以更改任何设置吗？

Answer 1

查询限制了处理器。处理器致力于执行查询。它不知道您施加了任何限制。

我认为使用Batch Size和Results Per FlowFile会更适合您，而不是在查询中使用限制（每次执行都会限制最终结果）。