加快谷歌云存储转移到s3

Question

我需要每天将大量数据从谷歌存储导出到s3（几百GB）。因为，gsutil rsync似乎是唯一的方法，我想稍微调整一下。

从gs到s3的同步速度太慢，因为文档本身说“由于跨提供程序gsutil数据传输流经gsutil正在运行的机器......”。 因此，它会从触发rsync命令的计算机上下载并上载数据。 如果有人做过类似的事情，请告诉我。

'rsync -m'也没有帮助。

更好的机器会改善效果吗？ 我们可以使用多台机器并行运行rsync来加速吗？

谢谢！

Answer 1

如果您从Compute Engine（而不是从您所在地的计算机）运行gsutil rsync命令，这将避免使用从Google到您的场所以及从您的场所到Amazon的额外网络带宽。