将文件从AWS s3(SSE)存储桶复制到Google云端

时间:2017-11-13 21:04:58

标签: amazon-s3 google-cloud-storage boto gsutil

我们尝试将一些数据从S3存储桶复制到Google云端存储。但是,gsutil copy命令会导致以下错误:

firstM :: Monad m => (a -> m Bool) -> [a] -> m (Maybe a)

错误:

gsutil cp s3://my_s3_bucket/datadir1 gs://my_google_bucket

有没有办法解决这个问题?

1 个答案:

答案 0 :(得分:2)

最新版本的gsutil支持AWS签名版本4以调用S3,但您需要明确启用它。

首先,更新到最新版本的gsutil(您需要4.28或更高版本)。在“.boto”配置文件的[S3]部分中,设置以下参数:

[s3]
use-sigv4 = True
host = s3.<some AWS region>.amazonaws.com