Question

我希望将文件从gcs复制到我的s3存储桶。在boto2中，轻松按钮。

conn = connect_gs(user_id, password)
gs_bucket = conn.get_bucket(gs_bucket_name) 
for obj in bucket:
   s3_key = key.Key(s3_bucket)
   s3_key.key = obj
   s3_key.set_contents_from_filename(obj)

然而在boto3中，我试图找到相同的代码。任何人？

Answer 1

如果您所做的只是副本：

import boto3

s3 = boto3.resource('s3')
bucket = s3.Bucket('bucket-name')
for obj in gcs:
    s3_obj = bucket.Object(gcs.key)
    s3_obj.put(Body=gcs.data)

文档：s3.Bucket，s3.Bucket.Object，s3.Bucket.Object.put

或者，如果您不想使用资源模型：

import boto3

s3_client = boto3.client('s3')
for obj in gcs:
    s3_client.put_object(Bucket='bucket-name', Key=gcs.key, Body=gcs.body)

文档：s3_client.put_object

警告：gcs位是伪代码，我不熟悉它们的API。

修改

所以似乎gcs支持旧版本的S3 API以及旧版本的签名者。我们仍然支持那位老签名者，但你必须选择加入。请注意，某些区域不支持旧签名版本（您可以看到哪些S3区域支持哪些版本here），因此如果您尝试复制到其中一个版本，则需要使用不同的客户。

import boto3 from botocore.client import Config # Create a client with the s3v2 signer resource = boto3.resource('s3', config=Config(signature_version='s3')) gcs_bucket = resource.Bucket('phjordon-test-bucket') s3_bucket = resource.Bucket('phjordon-test-bucket-tokyo') for obj in gcs_bucket.objects.all(): s3_bucket.Object(obj.key).copy_from( CopySource=obj.bucket_name + "/" + obj.key)

文档：s3.Object.copy_from

当然，这只有在gcs仍然符合S3的情况下才能正常工作。

将文件从gcs复制到boto3中的s3

1 个答案: