批量AWS S3文件是否存在验证？

Question

检查AWS S3存储桶中是否存在多个文件的最佳/最快方法是什么？

例如，我的本地数据库中有10万个文件元数据。我想确保它们全部存在于S3存储桶中。我可以为特定文件执行“ aws s3 ls”，但这意味着10万个AWS请求。有更好的方法吗？

Answer 1

如果要通过一个命令检索特定存储桶中的所有键，则可以使用它。

aws s3api list-objects --bucket <bucket-name> --no-paginate

一旦有了该列表，就可以通过自定义代码对其进行处理。

Answer 2

如果您只是进行一般审核，则可以使用Amazon S3 Inventory来获取所有对象键和相关元数据的完整每日转储。

然后您可以编写一些代码以将库存文件的内容与数据库条目进行比较。

Answer 3

如果要确保本地文件位于S3上，可以尝试s3 sync command。

您还可以使用Commandeer来检查当前有哪些文件，该文件支持在漂亮的树形视图中浏览S3文件。