Amazon S3将数百万个文件同步到本地以进行增量备份

Question

尝试将大型（数百万个文件）S3存储桶从云同步到本地存储对于大多数S3工具而言似乎是一个麻烦的过程，因为我到目前为止所看到的几乎所有操作都使用GET Bucket操作，耐心地获取存储桶中的整个文件列表，然后将其与文件本地列表区分开来，然后执行实际的文件传输。

这看起来非常不理想。例如，如果可以列出自给定日期以来创建/更改的存储桶中的文件，则可以快速完成，因为要传输的文件列表只包含少量数据，而不是数百万。

但是，鉴于answer to this question仍然存在，在S3 API中无法执行此操作。

是否有其他方法可以对给定的大型S3存储桶进行定期增量备份？

Answer 1

在AWS S3上，您可以配置事件通知（例如：s3:ObjectCreated:*）。在创建对象时请求通知。它支持SNS，SQS和Lambda服务。因此，您可以拥有一个监听事件并更新统计信息的应用程序。您可能还希望将广告时间戳作为统计信息的一部分。然后只需“查询”一段时间的结果，您就会获得delta。