我们有一个带有POST
和Multipart upload completed
的事件通知设置的S3存储桶,最初我们将其设置为直接触发Lambda,但由于对错误处理的担忧,我们将其更改为SQS以获取“ SQS的“退出”功能,可以更轻松地捕获任何错误消息。
在99.9%的情况下,文件从SFTP服务器(EC2实例)放置到S3,事件在SQS放置,但是经常丢失文件... 我们可以很容易地发现这一点,因为SQS会依次触发Lambda,Lambda要做的第一件事是将文件重命名为“ .processing”,并且一旦处理完成,文件便被移至另一个Bucket。
现在我们一次又一次找到具有原始文件名的文件,该文件名未获得“ .processing”扩展名,并且没有SQS消息或日志显示Lambda已将其拾取。这种情况发生在每千个文件中一次或类似的事...
文件总是以相同的方式传输到存储桶,但有时会有大批,并且似乎更频繁地发生在大批中...
某些文件未触发通知的原因可能是什么? 还是我可以检查一下以找出可能导致这种情况的原因?