Nifi:如何在nifi

时间:2017-09-21 07:07:35

标签: apache-nifi

我必须在一个目录中编写我的响应流文件而不是从中获取数据更改它然后将其放在其他目录中我想使这两个目标同步(我的意思是每当我delet,或者在一个目录中更改flowfile时应该改变其他目录)我有超过10000流量文件,所以chechlist不是很好的解决方案。你能告诉我的事吗:

  1. 任何可以帮助我做这件事的改造服务吗?
  2. 我可以在没有控制器服务的情况下完成此任务的更好方法

1 个答案:

答案 0 :(得分:0)

您可以使用ListFileFetchFilePutFile处理器的组合来检测文件系统目录中的单个文件写入更改,并将其内容复制到另一个目录。这将检测文件删除,因此我认为更好的解决方案是在rsync处理器中使用ExecuteProcess

据我所知,rsync不适用于HDFS文件系统,因此在这种情况下我建议使用HelixDistCp之类的工具(我还没有评估过)特别是这些工具)。您可以从"命令行调用它们"通过ExecuteProcess或将客户端库包装在ExecuteScript或自定义处理器中。