我正在尝试使用AWS将深度学习模型部署到生产中。我模型的输入是一个包含数百张图像的大文件夹(这些图像是 volumetric ,因此我无法一一发送)。现在,根据我的研究,我知道两种选择:
客户端通过API在S3上上传。数据被复制到EC2实例(模型所在的位置)上以进行推理,并在由云功能(如AWS Lambda)触发时返回预测。触发事件可以根据客户端请求或到S3的上传完成时进行。
此方法的问题似乎在于,在S3和EC2实例之间传输文件所花费的时间似乎非常长,无法投入生产。
通过HTTP POST进行文件流传输。
现在,我对这种方法知之甚少,因为我仍在寻找实现此方法的方法,因此我偶然发现了诸如 带上下文流 之类的术语。
任何与此有关的帮助都会有所帮助。是否还有其他方法或对上述方法进行任何修改可以完成工作?下面提到了一些额外的细节:
使用的工具和语言:Python 3,PyTorch,AWS
输入格式:文件夹中的多个图像(压缩或解压缩),一次约100 mb
输出格式:json,也许是小文件〜5mb