观看目录NIFI中的新文件

Question

我有一个用例，我每天都会在不同时刻（例如每小时或两小时）收到新文件，因此我需要在我的文件夹中查看目录，并在添加新文件时触发发送这些文件的事件在NIFI上我的webservice的新文件路径，任何想法如何实现这个以及使用什么工具？

或许这不是最好的方法？

Answer 1

查看ListFile和FetchFile处理器：

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.5.0/org.apache.nifi.processors.standard.ListFile/index.html

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.5.0/org.apache.nifi.processors.standard.FetchFile/index.html

可以在https://nifi.apache.org/docs.html

找到完整的NiFi文档

Answer 2

如果您的文件位于文件系统中，则使用“GETFILE”处理器，在提供的“输入目录”上添加新文件时触发事件并立即将数据提供给NIFI而不会有任何延迟。

如果您的要求是按照每小时或任何特定时间安排，请使用每个处理器配置中的“调度”选项卡，并使用“Cron-Driven”策略安排它并按小时设置cron * / 60 * * * *？

如果您的文件位于S3存储桶中，那么您必须使用下面详细说明的“GETSQS”处理器使用SQS队列通知

http://crazyslate.com/apache-nifi-intergration-with-aws-s3/

https://community.hortonworks.com/content/idea/76919/how-to-integrate-aws-sqs-queue-with-nifi.html