部署一个需要大量文件输入的深度学习模型?

时间:2020-01-31 12:00:23

标签: python amazon-web-services deep-learning devops production-environment

我正在尝试使用AWS将深度学习模型部署到生产中。我模型的输入是一个包含数百张图像的大文件夹(这些图像是 volumetric ,因此我无法一一发送)。现在,根据我的研究,我知道两种选择:

  1. 客户端通过API在S3上上传。数据被复制到EC2实例(模型所在的位置)上以进行推理,并在由云功能(如AWS Lambda)触发时返回预测。触发事件可以根据客户端请求或到S3的上传完成时进行。

    此方法的问题似乎在于,在S3和EC2实例之间传输文件所花费的时间似乎非常长,无法投入生产。

  2. 通过HTTP POST进行文件流传输。

    现在,我对这种方法知之甚少,因为我仍在寻找实现此方法的方法,因此我偶然发现了诸如 带上下文流 之类的术语。

任何与此有关的帮助都会有所帮助。是否还有其他方法或对上述方法进行任何修改可以完成工作?下面提到了一些额外的细节:

使用的工具和语言:Python 3,PyTorch,AWS

输入格式:文件夹中的多个图像(压缩或解压缩),一次约100 mb

输出格式:json,也许是小文件〜5mb

0 个答案:

没有答案