新文件上传到S3存储桶

Question

今天我遇到了一个问题，如果有解决方案或者它是一个错误我不会。

在我们的项目中，我们使用S3和SQS以及API Gateway作为S3的界面。每当通过网关上传新文件时，新事件将发布到SQS并且没有任何问题。

今天早些时候，我部署了新版本的服务并使用了SQS条消息。为了测试一切是否按预期工作，我创建了一个新的S3存储桶和相应的SQS队列。我开始使用boto3 Python库将对象从生产存储桶复制到新创建的对象。

过了一会儿，我注意到有些文件没有发布SQS事件。经过研究发现，所有这些文件都大于8Mb。

我还尝试使用AWS CLI上传文件以防万一，但结果是一样的。

但是，当我从AWS Web控制台上传文件时，我可以看到SQS事件已发布。

所有内容在通过S3或API Gateway但不是AWS Web Console或AWS CLI上传到boto3并且可能是其他库时，一切正常。 似乎是一个错误或一些限制，但我无法找到任何文档。

有没有人经历过类似的行为？

提前感谢任何提示。

Answer 1

我认为8MB是CLI（和SDK）开始执行多部分上传操作的大小。您可能需要为S3存储桶上的s3:ObjectCreated:CompleteMultipartUpload事件启用通知。