复制谷歌存储桶的最快方法是什么?

时间:2016-05-04 00:18:45

标签: google-cloud-storage google-compute-engine

我有一个10TB的存储桶,需要尽快创建它的副本。这样做的最快,最有效的方法是什么?

3 个答案:

答案 0 :(得分:3)

假设您要将存储桶复制到同一位置和存储类中的另一个存储桶,您可以在GCE实例上运行gsutil rsync:

gsutil -m rsync -r -d -p gs://source-bucket gs://dest-bucket

如果要跨位置或存储类进行复制,上述命令仍然有效,但需要更长时间,因为在这种情况下需要复制数据(不仅仅是元数据)。

无论哪种方式,都应检查结果状态,并在发生任何错误时重新运行rsync命令。 (rsync命令将避免重新复制已复制的对象。)应重复rsync命令,直到存储桶成功完全复制为止。

答案 1 :(得分:2)

一种简单的方法是使用Google Cloud Storage Transfer Service。它也可能是最快的,但我还没有证实这一点。

答案 2 :(得分:1)

您可以使用gsutil轻松完成此操作。

gsutil -m cp -r gs://source-bucket gs://duplicate-bucket

您是否在Google云端存储中复制到具有相同位置和存储类别的存储分区?如果是这样,这个操作应该非常快。如果存储桶具有不同的位置和/或存储类别,则操作将更慢(并且更昂贵),但这仍然是最快的方式。