NiFi：使用ListFile / GetFile处理器时如何存储maxTimestamp？

Question

我正在使用MiNiFi 0.3和NiFi 1.5版本。

我们需要使用MiNiFi从“ A”文件夹中提取数据（csv），并发送到在Linux中运行的NiFi。

例如，如果文件在凌晨1点到达10条记录。我们需要将文件从“ A”文件夹移动（而不是复制）到NiFi集线器。 10分钟（上午1.10）后，附加文件将与较旧的10条记录和新的10条记录一起到达。因此，总共将包含20条记录。

我们只需要将新的10条记录发送到NiFi集线器。

我尝试了ListFile-> FetchFile，但是由于我们需要移动数据。这行不通。 然后我尝试使用GetFile处理器，但是它捕获了全部20条记录。

有什么办法可以实现这种情况。

提前谢谢。

Answer 1

使用FetchFile，可以使用属性Completion Strategy到Move File甚至Delete File对其进行配置（然后您可以随时PutFile对其进行配置）。