在S3文件上运行Python脚本

Question

我想在整个S3存储桶上运行python脚本。 该脚本获取文件并将其插入到csv文件中。

  

如何像本地脚本一样在S3文件上运行？   使用“ python https://s3url/”对我不起作用。

Answer 1

您可以使用boto3获取s3存储桶中所有文件的列表：

import boto3

bucketName = "Your S3 BucketName"

# Create an S3 client
s3 = boto3.client('s3')

for key in s3.list_objects(Bucket=bucketName)['Contents']: 
    print(key['Key'])

Answer 2

一个好主意是使用boto3。这是有关如何使用该模块的simple guide