从S3到GCS的重复转移

Question

我在S3上有一个桶，我想备份到GCS，甚至可能是近线。根据我的研究，似乎我可以使用GCE运行在GCE上这样做。我不确定的是如何将其作为定期转移。也许每月一次，它会检查S3桶并将任何新的东西移到GCS上。这可以用gsutil吗？

谢谢！

Answer 1

如果您正在进行备份，我建议您使用gsutil rsync：

gsutil -m rsync s3://s3-bucket gs://gs-bucket

与gsutil cp命令不同，这只会复制差异。如果要从源中删除目标中的项目，可以使用-d标记：

gsutil -m rsync -d s3://s3-bucket gs://gs-bucket

gsutil rsync docs中提供了更多信息。

设置cron作业以每日/每周/每月运行上述任何一项应该处理重复出现的方面。

或者你可以考虑Online Cloud Import;这仍处于测试阶段，但它允许您在不使用gsutil的情况下执行上述操作。