如何检测Amazon S3中的更改？

Question

  

可能重复：
  Notification of new S3 objects
  Get notified when user uploads to an S3 bucket?

检测Amazon S3中的更改的最有效方法是什么？许多分布式框需要将本地文件与S3同步。每个盒子都需要与S3桶的一部分同步。有时文件会从外部源丢弃到存储桶中，因此框不会知道它。

我可以编写一个脚本，不断抓取S3上的所有文件，并在发生更改时通知相应的框，但这将是缓慢且昂贵的。 （将有数百万个文件）。我考虑过启用桶的日志记录，但是日志写入需要很长时间，我希望能够很快收到更改通知。

还有其他想法吗？

Answer 1

Amazon提供了一种通知存储桶事件的方法（如here所示），但当前支持的唯一事件是 s3：ReducedRedundancyLostObject 。

我担心今天你能做你想做的事情的唯一方法是通过轮询（或像你说的那样爬行）或修改将文件上传到你的桶的客户（如果你控制了你的他们的代码），以便在上传/更改内容时通知您的框。