如何使用Apache Nifi删除重复文件？

Question

我有几个EC2服务器，每个实例上都安装了相同的EFS。

还分别在两台计算机上分别设置了Apache Nifi。现在，当我尝试进行数据流复制以从EFS安装的文件夹复制文件时，两台服务器上都出现了重复的文件。

Apache Nifi中是否有某种方法可以用来处理重复项，因为它们都同时触发。 Cron不够有用，因为服务器有时会同时发生冲突。

Answer 1

要检测重复文件，可以使用DetectDuplicate Processor。