标签： hadoop hdfs cloudera rsync
我正在寻找一种比较两个HDFS集群路径的方法。我们有2个hadoop集群（一个用于生产，一个用于灾难恢复），我正在调查某些路径上的丢失/不同文件。 像
rsync -rvn --size-only --delete path1/ path2/
会很棒。 distcp工具可用于将文件从一个集群推送到另一个集群，但有没有一个Hadoop工具可以进行比较？我知道我可以通过脚本执行此操作，递归检查文件列表（名称+大小）但我想了解是否已经设置了某些内容。