S3同步与跨区域复制

Question

我在S3 us-west-1中拥有约1.5PB数据。我想将此复制到us-east-2地区。我应该使用跨区域复制还是S3 Sync？而且，使用这两个选项的利弊是什么？

我研究了几个AWS线程，发现它们非常详细地描述了每个线程（例如https://aws.amazon.com/premiumsupport/knowledge-center/s3-large-transfer-between-buckets/和https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-migrate-region/），而没有解释两者之间的区别。

请注意，我们的安全策略不允许Snowball Edge。

有人可以帮我吗？

Answer 1

将复制添加到存储桶时，之前存在的对象将不会复制到另一个存储桶。如果使用客户提供的（SSE-C）加密密钥通过服务器端加密创建的对象，则复制也不允许您复制。有关更多详细信息，请阅读this.

因此，在这种情况下，您既可以使用AWS S3 Sync或AWCCLi的cp命令（速度会更慢），也可以使用Snowball Edge（根据说明您不能这样做）

aws s3 cp --recursive s3://<bucket>>
aws s3 sync s3://<bucket> s3://<bucket>>

AWS Sync适用于小型对象/存储桶，但是正如您提到的那样，您拥有PB级数据，那么我将为您提供两种解决方案：

1. S3 batch Operations：您可以使用Amazon S3批处理操作来 只需一个请求即可复制多个对象。
2. S3DistCp：Amazon EMR上的S3DistCp操作可以跨Amazon S3存储桶执行大量对象的并行复制。 More Read

将数据复制到另一个S3存储桶后，您可以启用将复制所有新对象的复制。

注意：这些解决方案可能会很昂贵，因此请确保您已阅读有关使用这些操作的费用。

Answer 2

复制会将新的PUT对象复制到目标存储桶中。

同步会将现有对象复制到目标存储桶。

通常，您将启用复制，然后运行一次同步以复制现有对象。