TensorFlow在Cloud ML Engine上将图片作为base64编码的字符串提供服务

时间:2019-03-05 18:05:25

标签: tensorflow tensorflow-serving google-cloud-ml tensorflow-estimator

如何将图像的TensorFlow服务输入功能实现为以base64编码的字符串并在Cloud ML Engine上获得预测

我计划在对模型进行内部培训后将其部署在Cloud Machine Learning(ML)引擎上,但是我不知道如何实现服务输入功能

此外,我尝试避免使用TensorFlow低级API,而只关注TensorFlow高级API( TensorFlow Estimator )。下面的代码块中是我正在处理的示例代码。


import numpy as np
import tensorflow as tf
import datetime
import os

# create model
from tensorflow.python.keras.applications.vgg16 import VGG16
from tensorflow.python.keras import models
from tensorflow.python.keras import layers

conv_base = VGG16(weights='imagenet',
                  include_top=False,
                  input_shape=(150, 150, 3))

model = models.Sequential()
model.add(conv_base)
model.add(layers.Flatten())
model.add(layers.Dense(256, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
conv_base.trainable = False
model.compile(loss='binary_crossentropy',
              optimizer=tf.keras.optimizers.RMSprop(lr=2e-5),
              metrics=['acc'])

dt = datetime.datetime.now()
datetime_now = dt.strftime("%y%m%d_%H%M%S")
model_dir = 'models/imageclassifier_'+datetime_now
model_dir = os.path.join(os.getcwd(), model_dir)
if not os.path.exists(model_dir):
    os.makedirs(model_dir)
print ("model_dir: ",model_dir)

est_imageclassifier = tf.keras.estimator.model_to_estimator(keras_model=model, model_dir=model_dir)

# input layer name
input_name = model.input_names[0]
input_name

此部分用于图像输入功能。

def imgs_input_fn(filenames, labels=None, perform_shuffle=False, repeat_count=1, batch_size=1):
    def _parse_function(filename, label):
        image_string = tf.read_file(filename)
        image = tf.image.decode_image(image_string, channels=3)
        image.set_shape([None, None, None])
        image = tf.image.resize_images(image, [150, 150])
        image = tf.subtract(image, 116.779) # Zero-center by mean pixel
        image.set_shape([150, 150, 3])
        image = tf.reverse(image, axis=[2]) # 'RGB'->'BGR'
        d = dict(zip([input_name], [image])), label
        return d
    if labels is None:
        labels = [0]*len(filenames)
    labels=np.array(labels)
    # Expand the shape of "labels" if necessary
    if len(labels.shape) == 1:
        labels = np.expand_dims(labels, axis=1)
    filenames = tf.constant(filenames)
    labels = tf.constant(labels)
    labels = tf.cast(labels, tf.float32)
    dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))
    dataset = dataset.map(_parse_function)
    if perform_shuffle:
        # Randomizes input using a window of 256 elements (read into memory)
        dataset = dataset.shuffle(buffer_size=256)
    dataset = dataset.repeat(repeat_count)  # Repeats dataset this # times
    dataset = dataset.batch(batch_size)  # Batch size to use
    iterator = dataset.make_one_shot_iterator()
    batch_features, batch_labels = iterator.get_next()
    return batch_features, batch_labels

我想创建一个服务输入功能,该功能

  1. 以JSON格式将图像作为base64编码的字符串获取

  2. 将其转换为张量,并将大小减小到(?,150,150,3)以进行预测

如下所示,

def serving_input_receiver_fn():

''' CODE HERE!'''

return tf.estimator.export.ServingInputReceiver(feature_placeholders, feature_placeholders)

要训练和评估模型,

train_spec = tf.estimator.TrainSpec(input_fn=lambda: imgs_input_fn(train_files,
                                                                   labels=train_labels,
                                                                   perform_shuffle=True,
                                                                   repeat_count=1,
                                                                   batch_size=20), 
                                    max_steps=500)

exporter = tf.estimator.LatestExporter('Servo', serving_input_receiver_fn)

eval_spec = tf.estimator.EvalSpec(input_fn=lambda: imgs_input_fn(val_files,
                                                                 labels=val_labels,
                                                                 perform_shuffle=False,
                                                                 batch_size=1),
                                 exporters=exporter)

tf.estimator.train_and_evaluate(est_imageclassifier, train_spec, eval_spec)

如果我理解正确,那么在Cloud ML Engine上获得预测的输入文件示例应该类似于

request.json

{"b64": "9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQgHBwcJCQgKDBQNDAsLDBkSEw8UHRofHh0aHJC...”}
{"b64": "9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQgHBwcJCQgKDBQNDAsLDBkSEw8UHRofHh0aHJC...”}

gcloud ml-engine predict --model MODEL_NAME  \
                --version MODEL_VERSION \
                --json-instances request.json

如果您在此之前一直阅读并且有一些想法,能否请您建议我如何针对此特定情况实现服务输入功能。

在此先感谢


第二个帖子-更新我到目前为止所做的事情。

根据sdcbr的评论,下面是我的serve_input_receiver_fn()。

对于_img_string_to_tensor()函数或(prepare_image函数),我猜我应该像训练模型一样进行图像准备

imgs_input_fn()=> _parse_function()。

def serving_input_receiver_fn():
    def _img_string_to_tensor(image_string):
        image = tf.image.decode_image(image_string, channels=3)
        image.set_shape([None, None, None])
        image = tf.image.resize_images(image, [150, 150])
        image = tf.subtract(image, 116.779) # Zero-center by mean pixel
        image.set_shape([150, 150, 3])
        image = tf.reverse(image, axis=[2]) # 'RGB'->'BGR'
        return image

    input_ph = tf.placeholder(tf.string, shape=[None])

    images_tensor = tf.map_fn(_img_string_to_tensor, input_ph, back_prop=False, dtype=tf.float32)

    return tf.estimator.export.ServingInputReceiver({model.input_names[0]: images_tensor}, {'image_bytes': input_ph})

在我训练了模型并将已保存的模型部署到Cloud ML Engine上之后。我的输入图像准备成如下所示的格式。

{"image_bytes": {"b64": "YQ=="}}

但是我在通过gcloud获得预测后发现了错误。

gcloud ml-engine predict --model model_1  \
               --version v1 \
               --json-instances request.json
  

{“错误”:“预测失败:模型执行期间的错误:   AbortionError(code = StatusCode.INVALID_ARGUMENT,details =“ \ asserttion   失败:[无法将字节解码为JPEG,PNG,GIF或BMP] \ n \ t   [[{{节点   map / while / decode_image / cond_jpeg / cond_png / cond_gif / Assert_1 / Assert}} =   断言[T = [DT_STRING],摘要= 3,   _device = \“ / job:localhost /副本:0 / task:0 / device:CPU:0 \”](map / while / decode_image / cond_jpeg / cond_png / cond_gif / is_bmp,   map / while / decode_image / cond_jpeg / cond_png / cond_gif / Assert_1 / Assert / data_0)]]“”)“   }

我在_img_string_to_tensor函数中做错了吗?

您能否进一步说明一下这个tf.placeholder?

input_ph = tf.placeholder(tf.string, shape=[None])

对于上述代码,您使用shape = [1],但我认为应该为shape = [None]。

2 个答案:

答案 0 :(得分:1)

遵循这些原则应该可以起作用:

def serving_input_receiver_fn():
    def prepare_image(image_str_tensor):
        image = tf.image.decode_image(image_str_tensor,
                                     channels=3)
        image = tf.image.resize_images(image, [150, 150])
        return image

    # Ensure model is batchable
    # https://stackoverflow.com/questions/52303403/
    input_ph = tf.placeholder(tf.string, shape=[None])
    images_tensor = tf.map_fn(
        prepare_image, input_ph, back_prop=False, dtype=tf.float32)
    return tf.estimator.export.ServingInputReceiver(
        {model.input_names[0]: images_tensor},
        {'image_bytes': input_ph})

您可以在prepare_image函数中添加其他预处理。请注意,images_tensor应该映射到tf.keras模型中应该接收输入的图层名称上。

另请参阅thisthis相关问题。

答案 1 :(得分:0)

答案!

从sdcbr的评论来看,这是我正在寻找的正确答案,但是我刚刚发现了为什么它不起作用的问题。

基于错误

  

{“错误”:“预测失败:模型执行期间的错误:   AbortionError(code = StatusCode.INVALID_ARGUMENT,details =“ \ asserttion   失败:[无法将字节解码为JPEG,PNG,GIF或BMP] \ n \ t   [[{{节点   map / while / decode_image / cond_jpeg / cond_png / cond_gif / Assert_1 / Assert}} =   断言[T = [DT_STRING],摘要= 3,   _device = \“ / job:localhost /副本:0 / task:0 / device:CPU:0 \”](map / while / decode_image / cond_jpeg / cond_png / cond_gif / is_bmp,   map / while / decode_image / cond_jpeg / cond_png / cond_gif / Assert_1 / Assert / data_0)]]“”)“   }

这是因为request.json类似于

{\"image_bytes\": {\"b64\": \"YQ==\"}}
{\"image_bytes\": {\"b64\": \"YQ==\"}}
.
.

应该是

{"image_bytes": {"b64": "YQ=="}}
{"image_bytes": {"b64": "YQ=="}}
.
.

我清理并删除了所有反斜杠后,它可以工作!

P.S。这是您需要仔细检查的内容。如果在IPython笔记本上打印出来,则不会显示反斜杠。我必须在编辑器上打开它,然后找到真正的问题。