确保所有数据从HDFS复制到S3

Question

我正在使用 s3-dist-cp 将数据从 HDFS 复制到2个不同的文件夹（或密钥），比如说 bucket / A >和 S3 上的 bucket / B 。我看到 A 和 B 的文件计数不同。即使来源相同。如何确保将 HDFS 中的所有数据正确复制到 S3 ？我刚刚开始在 s3-dist-cp 中使用-outputManifest 选项作为复制文件的日志。够了吗？还是还有其他文件来跟踪文件，例如文件夹的元数据？