Question

我有一个由我们自己训练的Keras / tensorflow模型，它可以进行图像相关的预测。我已遵循此trained keras model tutorial在Sagemaker中部署模型，并可以调用端点进行预测。

现在在我的客户端代码上，在通过调用Sagemaker端点进行预测之前，我需要下载图像并进行一些预处理。我不想在客户端执行此操作，而是要在SageMaker中执行整个过程。我该怎么办？

似乎我需要按此处所述更新入口点python代码train.py：

sagemaker_model = TensorFlowModel(model_data = 's3://' + sagemaker_session.default_bucket() + '/model/model.tar.gz',
                                  role = role,
                                  entry_point = 'train.py')

其他文章指出，我需要重写input_fn函数以捕获预处理。但是这些articles是指使用MXNet框架时使用的步骤。但是我的模型基于Keras / tensorflow框架。

因此，我不确定如何覆盖input_fn函数。有人可以建议吗？

Answer 1

我遇到了同样的问题，最后想出了解决方法。

准备好model_data后，可以使用以下几行进行部署。

from sagemaker.tensorflow.model import TensorFlowModel
sagemaker_model = TensorFlowModel(
            model_data = 's3://path/to/model/model.tar.gz',
            role = role,
            framework_version = '1.12',
            entry_point = 'train.py',
            source_dir='my_src',
            env={'SAGEMAKER_REQUIREMENTS': 'requirements.txt'}
)

predictor = sagemaker_model.deploy(
    initial_instance_count=1,
    instance_type='ml.m4.xlarge', 
    endpoint_name='resnet-tensorflow-classifier'
)

您的笔记本应该具有一个my_src目录，其中包含文件train.py和一个requirements.txt文件。 train.py文件应具有定义的功能input_fn。对我来说，该函数处理图片/ jpeg内容：

import io
import numpy as np
from PIL import Image
from keras.applications.resnet50 import preprocess_input
from keras.preprocessing import image

JPEG_CONTENT_TYPE = 'image/jpeg'

# Deserialize the Invoke request body into an object we can perform prediction on
def input_fn(request_body, content_type=JPEG_CONTENT_TYPE):
    # process an image uploaded to the endpoint
    if content_type == JPEG_CONTENT_TYPE:
        img = Image.open(io.BytesIO(request_body)).resize((300, 300))
        img_array = np.array(img)
        expanded_img_array = np.expand_dims(img_array, axis=0)
        x = preprocess_input(expanded_img_array)
        return x


    else: 
        raise errors.UnsupportedFormatError(content_type)

您的处理代码将取决于您使用的模型架构。我正在使用resnet50进行转移学习，因此我使用了preprocess_input中的keras.applications.resnet50。

请注意，由于我的train.py代码导入了一些模块，因此我必须提供requirements.txt来定义那些模块（这是我在文档中找不到的部分）。

希望这对以后的人有帮助。

我的requirements.txt：

absl-py==0.7.1
astor==0.8.0
backports.weakref==1.0.post1
enum34==1.1.6
funcsigs==1.0.2
futures==3.2.0
gast==0.2.2
grpcio==1.20.1
h5py==2.9.0
Keras==2.2.4
Keras-Applications==1.0.7
Keras-Preprocessing==1.0.9
Markdown==3.1.1
mock==3.0.5
numpy==1.16.3
Pillow==6.0.0
protobuf==3.7.1
PyYAML==5.1
scipy==1.2.1
six==1.12.0
tensorboard==1.13.1
tensorflow==1.13.1
tensorflow-estimator==1.13.0
termcolor==1.1.0
virtualenv==16.5.0
Werkzeug==0.15.4

在Amazon SageMaker中进行预测之前先对输入数据进行预处理

1 个答案: