s3 - 比较两个存储桶之间的文件

Question

我想比较两个S3兼容存储桶的文件内容，并识别丢失或不同的文件。

我应该使用校验和代替吗？

Answer 1

您的要求似乎是比较两个Amazon S3存储桶的内容，并识别存储桶之间丢失或不同的文件。

为此，您可以使用：

• 对象名称：这当然有助于查找丢失的文件
• 对象大小：不同的大小表示不同的内容，每个桶列表都会给出大小。
• eTag： eTag是对象内容的MD5校验和。如果同一文件具有不同的eTag，则内容不同。
• 创建日期： 实际上是识别差异的可靠方法，但它可以与其他元数据一起使用，以确定是否要更新文件。例如，如果两个文件不同，则目标存储桶中的对象的日期比源存储桶中的对象更新，您可能不需要复制该文件。但是如果源文件在目标文件之后被修改，则它可能是重新复制的候选者。

您可以使用AWS Command-Line Interface (CLI)而不是自己完成上述所有逻辑。它有一个aws s3 sync命令，用于比较源和目标中的文件，然后复制已修改或丢失的文件。