Question

是否可以使用boto3将一个源存储桶中的所有文件复制到其他目标存储桶。并且源存储桶没有常规的文件夹结构。

Source bucket: SRC
Source Path: A/B/C/D/E/F..
where in D folder it has some files,
E folder has some files

Target bucket: TGT
Target path: L/M/N/

我需要使用boto3将SRC存储桶上方的所有文件和文件夹从文件夹C复制到N文件夹下的TGT存储桶。

任何人都可以知道任何API，或者我们是否需要编写新的python脚本来完成此任务。

Answer 1

S3存储对象，它不存储文件夹，甚至'/'或'\'也是对象键名称的一部分。您只需要操纵密钥名称并复制数据。

import boto3
old_bucket_name = 'SRC'
old_prefix = 'A/B/C/'
new_bucket_name = 'TGT'
new_prefix = 'L/M/N/'
s3 = boto3.resource('s3')
old_bucket = s3.Bucket(old_bucket_name )
new_bucket = s3.Bucket(new_bucket_name )

for obj in old_bucket.objects.filter(Prefix=old_prefix):
    old_source = { 'Bucket': old_bucket_name,
                   'Key': obj.key}
    # replace the prefix
    new_key = obj.key.replace(old_prefix, new_prefix)
    new_obj = new_bucket.Object(new_key)
    new_obj.copy(old_source)

（更新）

正如@zvikico指出的那样，在对象密钥中存在重复旧前缀的风险，例如： A/B/C/something/A/B/C被新前缀替换。这是一些修复

# replace the first prefix encounter
new_key = obj.key.replace(old_prefix, new_prefix, 1)

# Suggested by @zvikico which is optimized
new_key = new_prefix + obj.key[len(old_prefix):]

我们可以使用boto3 Python在aws s3存储桶之间递归复制文件和文件夹吗？

1 个答案: