快速获取AWS S3对象元数据

Question

这个问题How can I read the metadata for every item in an S3 bucket?涉及如何在AWS S3上获取对象的元数据，但是这个过程非常缓慢。即使我使用“boto3”，我也会在7秒内获得大约50个对象的元数据。有没有可靠的替代方案？我只需要一个目录的数据，但是它可以包含几千个对象。作为最后的手段，我一直在考虑只获取最新的对象的元数据，但为此我首先需要元数据，我猜:)

Answer 1

如果您不介意每天只获取一次信息，可以使用Amazon S3 Inventory：

  

Amazon S3广告资源提供逗号分隔值（CSV）或Apache优化行列式（ORC）输出文件，每天列出您的对象及其对应的元数据或每周一次的S3存储桶或共享前缀（即名称以公共字符串开头的对象）。

如果您需要更频繁地更新信息，则可以在创建新对象时在存储桶上配置事件，以触发 AWS Lambda函数。然后，Lambda函数可以将信息存储在数据库中以供将来参考。当然，您必须自己编写此代码。