亚马逊s3cmd ls最新/随机10个对象

Question

我想在包含数十亿个对象的S3存储桶中看到n个随机对象（或最新的n个对象）。如何在不降低EC2实例性能或搞乱上述S3存储桶的情况下做到这一点？

Answer 1

我认为最好的办法是使用有关s3对象的元数据维护数据库，可能在Dynamodb或RDS中。在那里执行您的查询，然后使用结果找到＆＃39; n＆＃39;随机/最新文件。

如果物品数量少得多，您可以列出所有文件，然后随机化或确定最新的“即时”文件，但如果您尝试扫描数十亿个对象，性能会受到影响对象。