Google Storage Transfer Service的成本效益

Question

我需要将包含大量文件（800k文件，400GB）的aws s3存储桶备份到Google云端存储。 Google Storage Transfer Service似乎是一个简单的解决方案，但我对成本效率存有疑虑。

第一次下载整个s3存储桶：

• aws上的400 GB传出流量
• 800k获取aws请求
• 800k将请求发送到谷歌存储

第二次及以后怎么办？

它的成本与第一次相同，或者只下载更改/新文件？

Answer 1

根据Creating and Managing Data Transfers with the Console处的文档：＆＃34;默认情况下，当源版本与接收器版本不同时，Storage Transfer Service仅覆盖对象。＆＃34;

因此，第二次的成本将是S3和GCS存储桶上的列表操作的成本（需要比较以查看更改的内容），以及更改后的GET和PUT。我相信对象通常一次列出1,000个（根据每个服务中对象列表的最大页面大小）。因此，如果没有对象发生更改，您可以预期您的方案中的成本将是S3中的大约800个列表操作和GCS中800个列表操作中的每个后续传输。

Answer 2

Ingress to gcp是免费的。因此，每次都要创建一个新的备份，并且只保留最新的5（或其他）。这样您就不必担心覆盖等问题，而且您可以将任何文件回滚到N个版本之前。