S3图像的大规模处理

Question

我在S3存储桶中托管了大约80tb的图像，需要将其发送到API进行图像分类。图像分类后，API会将结果转发到另一个端点。

当前，我正在考虑使用boto与S3以及Apache airflow进行交互，以批量下载这些图像并将它们转发给分类API，后者会将分类结果转发到Web应用程序进行显示。

将来，我想将添加到S3存储桶中的所有新图像自动发送到API进行分类。为此，我希望使用AWS lambda和S3通知来触发此功能。

这是这种解决方案的最佳实践吗？

谢谢。

Answer 1

对于您将来的情况，是的，这种方法将是明智的：

• 配置 Amazon S3事件，以在创建新对象时触发AWS Lambda函数
• Lambda函数可以下载对象（到/tmp/）并调用远程API
• 在退出之前，请确保Lambda函数删除临时文件，因为可能会重复使用Lambda容器并且存储空间限制为500MB

请注意，Lambda函数将在单个对象而不是成批触发。