如何通过boto3获取存储桶中所有密钥的s3元数据

Question

我想通过Boto获取带前缀的存储桶的所有元数据。有一些SO问题暗示this isn't possible via the AWS API。所以，有两个问题：

1. 有没有充分的理由通过AWS API实现这一点？
2. 虽然I can't find one in docs，但在Boto中是否有方便的方法？

我目前正在使用多线程进行此操作，但这似乎有点矫枉过正，如果可能的话，我真的宁愿避免使用它。

Answer 1

虽然没有直接通过boto执行此操作的方法，但您可以在存储桶上添加库存配置，该存储配置会生成包含所有文件元数据的每日CSV / ORC文件。

一旦生成了这个，你就可以处理输出而不是多线程或任何其他需要大量请求的方法。

请参阅：put_bucket_inventory_configuration

值得注意的是，第一个生成可能需要48小时。