处理S3存储桶中多个文件夹的文件

时间:2017-07-10 13:26:44

标签: python amazon-web-services amazon-s3 boto3

我在s3中有以下文件:

广告名称:测试

存储桶中的两个文件夹测试为folder1&文件夹2。

每个文件夹都有多个文件:

  • 的folder1:
    • FILE1.TXT
    • FILE2.TXT
  • 文件夹2:
    • file3.txt
    • file4.txt

我想逐个从两个文件夹中读取每个文件的数据。

所以,首先选择文件夹1和进程(读取文件内容并将其保存在字符串中)两个文件,然后转到文件夹2并处理(读取文件内容并将其保存在字符串中)这两个文件。

我正在尝试使用boto3。

我可以获取文件夹/文件列表,但无法处理该文件。

s3conn = boto3.resource('s3', aws_access_key_id=awsAccessKey, aws_secret_access_key=awsSecretKey)
bucketname = s3conn.Bucket(mys3bucket)

myprefix = "source"

objs = bucketname.objects.filter(Prefix=myprefix)
for object in objs:
    print('{0}:{1}'.format(bucketname.name, object.key))

有关如何进行的任何建议吗?

0 个答案:

没有答案