从GCP数据存储中获取AWS S3公共存储桶中的内容

时间:2018-09-13 07:16:16

标签: amazon-web-services amazon-s3 google-cloud-platform google-cloud-storage gsutil

我正在尝试通过s3://open-images-dataset或传输服务从GCP数据存储中获取存储区gsutil的内容。在使用命令行替代方法的情况下,我正在使用以下命令:

gsutil -m -o GSUtil:parallel_composite_upload_threshold=150M cp -r --no-sign-request s3://open-images-dataset gs://<bucket-name>

这里的问题是s3://open-images-dataset是公开的,将--no-sign-request下载到本地目录时通常会这样做。但是,据我所知,GCP不允许任何选择解决此问题。对这个问题有任何想法吗?

我无法先将其下载到本地计算机,因为存储桶的内容太大。

1 个答案:

答案 0 :(得分:0)

目前尚不可能,但已向Boto库发出了PR