使用apache nifi时删除hdfs中的重复文件

Question

我想使用puthdfs处理器在hdfs中使用databasequerytable处理器从datawarehouse导入表，但是当我检查hdfs中的目录时出现问题，我发现很多文件具有相同的表示例：

datawarehouse:table 1 --> hdfs:file 1 --->table1,file 2--->table1 ...

所以我想删除重复的文件。我的复制因子是 2（2 个数据节点），所以我应该只找到两个具有相同表的文件。但我找到了 1000 多个文件。

这是我的流程