使用boto一次性读取S3路径中所有文件的内容

Question

使用boto3，我可以通过

读取存储在S3中的文件的内容

s3 = boto3.resource('s3')
s3.Object(bucket_name, path).get()['Body'].read()

我在同一条路径中有多个文件（＆＃34;目录＆＃34;），我想读取它们，构建一个存储其综合内容（比如字典或列表）的全局数据变量。

有没有办法从boto完成这个，而不必逐个阅读它们并连接它们？

Answer 1

不，S3 API中没有任何内容支持在单个API调用中读取多个对象。您可以在检索对象时启动多个线程以获得更好的吞吐量。