标签: apache-nifi
我必须在一个目录中编写我的响应流文件而不是从中获取数据更改它然后将其放在其他目录中我想使这两个目标同步(我的意思是每当我delet,或者在一个目录中更改flowfile时应该改变其他目录)我有超过10000流量文件,所以chechlist不是很好的解决方案。你能告诉我的事吗:
答案 0 :(得分:0)
您可以使用ListFile,FetchFile和PutFile处理器的组合来检测文件系统目录中的单个文件写入更改,并将其内容复制到另一个目录。这将不检测文件删除,因此我认为更好的解决方案是在rsync处理器中使用ExecuteProcess。
ListFile
FetchFile
PutFile
rsync
ExecuteProcess
据我所知,rsync不适用于HDFS文件系统,因此在这种情况下我建议使用Helix或DistCp之类的工具(我还没有评估过)特别是这些工具)。您可以从"命令行调用它们"通过ExecuteProcess或将客户端库包装在ExecuteScript或自定义处理器中。
ExecuteScript