当S3存储桶中的对象大小超过阈值时发出警报

Question

我有向我的S3存储桶提供数据的AWS数据管道设置。每次管道都会生成新的提要文件并将其存储在存储桶中。我们最多可以将30天的数据存储在存储桶中。是否可以配置警报，以便在生成的对象大小超过阈值（例如1G）时通过电子邮件等方式通知我？我将如何处理？

Answer 1

如果您想要细粒度的数据，则需要一些开发工作，以下是一些选项/进一步的阅读。

1. s3通知-即s3发送的响应创建/删除等事件，可用于触发lambda以执行任何逻辑。您可以将逻辑基于键，文件大小，创建日期等。然后可以将该值存储为cloudwatch指标，然后在自定义指标上设置警报。

请参见https://docs.aws.amazon.com/AmazonS3/latest/dev/NotificationHowTo.html

或

1. s3广告资源（基本上是csv格式的目录列表，按计划上传到其他存储桶中。）

如果您选择清单选项，则可以设置时间表，然后可以在清单文件的目标存储桶中创建通知，以在每个csv可用时触发lambda。还可以看一下Athena Athena，可用于通过api直接查询库存文件-无需下载/解析csv！

请参见https://docs.aws.amazon.com/AmazonS3/latest/dev/storage-inventory.html

如果您对快速n简单/无编程路线感兴趣，则有一个名为BucketSizeBytes的总存储桶大小云监视指标，您可以轻松添加一个警报，如果总大小超过30gb，则会触发sns电子邮件。根据您的目标，这可能会有用，并且可能需要花费几分钟的时间进行设置-但对于及时监视而言却毫无用处。

请参见https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/s3-metricscollected.html