大文件RSYNC / CP从Google Bucket到S3失败

Question

我有一个成功通过身份验证/已连接到Google Bucket和Amazon S3存储桶的Google Ubuntu实例。

我可以使用ubuntu实例在两个存储桶中复制/移动/编辑小文件/文件夹，并且可以直接上传到AWS Web界面

我在Google存储桶中有大约4个文件，我正在尝试从Google-> AWS进行RSYNC或GSUTIL CP

小的文件没问题，但是ServiceException 400会导致数百兆字节的内容失败。

这是我尝试过的命令

gsutil -o GSUtil:parallel_composite_upload_threshold=150M cp -r gs://(source bucket)/ s3://(destination bucket)/

或

gsutil rsync -d -r gs://(source bucket) s3://(destination bucket)

任何人都可以告知他们是否曾经遇到过此问题，以及在没有下载/上传的情况下推Google Bucket-> AWS的最佳方法。

Answer 1

来自rsync - Synchronize content of two buckets/directories  |  Cloud Storage  |  Google Cloud：

  

如果您要在云之间同步大量数据，则可以考虑设置Google Compute Engine帐户并在其中运行gsutil。由于交叉提供者gsutil的数据传输是通过运行gsutil的计算机进行的，因此这样做可以使传输的运行速度明显快于在本地工作站上运行gsutil的速度。

因此，实际上使用此命令确实下载然后上传数据。

由于您说只有4个文件，因此从Google Cloud下载每个文件，然后使用AWS Command-Line Interface (CLI)将它们上传到Amazon S3可能很容易。