Question

这是我的s3桶

s3.Bucket(name='external')

我正在使用boto3.resource方法：

s3 = boto3.resource(
    's3',
    region_name='ap-southeast-1',
    aws_access_key_id=aws_access_key_id,
    aws_secret_access_key=aws_secret_access_key
)

s3文件夹结构是这样：

external\product\2018\abc.csv
external\product\2019\abc.csv
external\bom\2018\csd.csv
external\bom\2019\zyc.csv

请注意，2018、2019都在产品和物料清单中。

我尝试这样做：


bucket = s3.Bucket(bucket)
print(bucket)
result = bucket.meta.client.list_objects(Bucket=bucket.name,
                                         Delimiter='/')
print(result)                                    
for o in result.get('CommonPrefixes'):
    print(o.get('Prefix'))

这只会给我：

product\
bom\

我真正需要的是年份列表：

并存储两个独立列表产品和物料清单

Product =['2018','2019']
Bom = ['2018','2019']

Answer 1

很少有这样做的方法。一种方法如下所示。

基于以下示例，并假定文件夹结构是固定的：

external\bom\2017\csd.csv
external\bom\2018\csd.csv
external\bom\2019\zyc.csv
external\product\2018\abc.csv
external\product\2019\abc.csv
external\product\2020\abc.csv

以下python脚本可以工作：

import boto3

from collections import defaultdict

session = boto3.session.Session(profile_name='<profile-name>')

bucket = session.resource('s3').Bucket('external')

key_year = defaultdict(set)

for obj in bucket.objects.all():
    key_split = obj.key.split('\\')
    key_year[key_split[1]].add(key_split[2])

for k in key_year:
    print(k, key_year[k])

在脚本中，defaultdict和set用于确保存储唯一的年份。输出为：

bom {'2017', '2019', '2018'}
product {'2020', '2018', '2019'}

如何访问AWS s3存储桶中的子文件夹（对象）并将其保存到python中的列表中？

1 个答案: