如何在AWS S3存储桶中同步在特定时间范围内修改/上传的对象？

Question

我有S3存储桶，许多用户每天都会上传许多文件。我正在编写一个消费者应用程序来根据给定的日期范围列出对象。 注意：我无法获取所有对象并对它们进行排序，因为每天会上传至少5k个文件。如果我请求所有对象，我的应用程序不会随着文件数量的增加而缩放。我需要一些如何请求存储桶在一定范围内上传/修改的文件。我怎么能做到这一点？

Answer 1

AWS S3 API的list-objects可以采用--query参数，您可以根据对象的内容进行过滤。 LastModified元数据。 list-objects（http://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects.html）的文档有一个查询关键字和值的示例，但应该很容易修改以更改为LastModified上的查询。

但是，您是否考虑过修改S3目录结构以使用修改后的文件的日期前缀？这将消除过滤的需要，因为您可以按其前缀列出修改后的文件。