我计划在对模型进行内部培训后将其部署在Cloud Machine Learning（ML）引擎上，但是我不知道如何实现服务输入功能。
此外，我尝试避免使用TensorFlow低级API，而只关注TensorFlow高级API（ TensorFlow Estimator ）。下面的代码块中是我正在处理的示例代码。
import numpy as np
import tensorflow as tf
import datetime
import os
# create model
from tensorflow.python.keras.applications.vgg16 import VGG16
from tensorflow.python.keras import models
from tensorflow.python.keras import layers
conv_base = VGG16(weights='imagenet',
include_top=False,
input_shape=(150, 150, 3))
model = models.Sequential()
model.add(conv_base)
model.add(layers.Flatten())
model.add(layers.Dense(256, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
conv_base.trainable = False
model.compile(loss='binary_crossentropy',
optimizer=tf.keras.optimizers.RMSprop(lr=2e-5),
metrics=['acc'])
dt = datetime.datetime.now()
datetime_now = dt.strftime("%y%m%d_%H%M%S")
model_dir = 'models/imageclassifier_'+datetime_now
model_dir = os.path.join(os.getcwd(), model_dir)
if not os.path.exists(model_dir):
os.makedirs(model_dir)
print ("model_dir: ",model_dir)
est_imageclassifier = tf.keras.estimator.model_to_estimator(keras_model=model, model_dir=model_dir)
# input layer name
input_name = model.input_names[0]
input_name
此部分用于图像输入功能。
def imgs_input_fn(filenames, labels=None, perform_shuffle=False, repeat_count=1, batch_size=1):
def _parse_function(filename, label):
image_string = tf.read_file(filename)
image = tf.image.decode_image(image_string, channels=3)
image.set_shape([None, None, None])
image = tf.image.resize_images(image, [150, 150])
image = tf.subtract(image, 116.779) # Zero-center by mean pixel
image.set_shape([150, 150, 3])
image = tf.reverse(image, axis=[2]) # 'RGB'->'BGR'
d = dict(zip([input_name], [image])), label
return d
if labels is None:
labels = [0]*len(filenames)
labels=np.array(labels)
# Expand the shape of "labels" if necessary
if len(labels.shape) == 1:
labels = np.expand_dims(labels, axis=1)
filenames = tf.constant(filenames)
labels = tf.constant(labels)
labels = tf.cast(labels, tf.float32)
dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))
dataset = dataset.map(_parse_function)
if perform_shuffle:
# Randomizes input using a window of 256 elements (read into memory)
dataset = dataset.shuffle(buffer_size=256)
dataset = dataset.repeat(repeat_count) # Repeats dataset this # times
dataset = dataset.batch(batch_size) # Batch size to use
iterator = dataset.make_one_shot_iterator()
batch_features, batch_labels = iterator.get_next()
return batch_features, batch_labels
我想创建一个服务输入功能，该功能
以JSON格式将图像作为base64编码的字符串获取
将其转换为张量，并将大小减小到（？，150，150，3）以进行预测
如下所示，
def serving_input_receiver_fn():
''' CODE HERE!'''
return tf.estimator.export.ServingInputReceiver(feature_placeholders, feature_placeholders)
要训练和评估模型，
train_spec = tf.estimator.TrainSpec(input_fn=lambda: imgs_input_fn(train_files,
labels=train_labels,
perform_shuffle=True,
repeat_count=1,
batch_size=20),
max_steps=500)
exporter = tf.estimator.LatestExporter('Servo', serving_input_receiver_fn)
eval_spec = tf.estimator.EvalSpec(input_fn=lambda: imgs_input_fn(val_files,
labels=val_labels,
perform_shuffle=False,
batch_size=1),
exporters=exporter)
tf.estimator.train_and_evaluate(est_imageclassifier, train_spec, eval_spec)
如果我理解正确，那么在Cloud ML Engine上获得预测的输入文件示例应该类似于
request.json
{"b64": "9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQgHBwcJCQgKDBQNDAsLDBkSEw8UHRofHh0aHJC...”}
{"b64": "9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAgGBgcGBQgHBwcJCQgKDBQNDAsLDBkSEw8UHRofHh0aHJC...”}
和
gcloud ml-engine predict --model MODEL_NAME \
--version MODEL_VERSION \
--json-instances request.json
如果您在此之前一直阅读并且有一些想法，能否请您建议我如何针对此特定情况实现服务输入功能。
在此先感谢
根据sdcbr的评论，下面是我的serve_input_receiver_fn（）。
对于_img_string_to_tensor（）函数或（prepare_image函数），我猜我应该像训练模型一样进行图像准备
imgs_input_fn（）=> _parse_function（）。
def serving_input_receiver_fn():
def _img_string_to_tensor(image_string):
image = tf.image.decode_image(image_string, channels=3)
image.set_shape([None, None, None])
image = tf.image.resize_images(image, [150, 150])
image = tf.subtract(image, 116.779) # Zero-center by mean pixel
image.set_shape([150, 150, 3])
image = tf.reverse(image, axis=[2]) # 'RGB'->'BGR'
return image
input_ph = tf.placeholder(tf.string, shape=[None])
images_tensor = tf.map_fn(_img_string_to_tensor, input_ph, back_prop=False, dtype=tf.float32)
return tf.estimator.export.ServingInputReceiver({model.input_names[0]: images_tensor}, {'image_bytes': input_ph})
在我训练了模型并将已保存的模型部署到Cloud ML Engine上之后。我的输入图像准备成如下所示的格式。
{"image_bytes": {"b64": "YQ=="}}
但是我在通过gcloud获得预测后发现了错误。
gcloud ml-engine predict --model model_1 \
--version v1 \
--json-instances request.json
{“错误”：“预测失败：模型执行期间的错误： AbortionError（code = StatusCode.INVALID_ARGUMENT，details =“ \ asserttion 失败：[无法将字节解码为JPEG，PNG，GIF或BMP] \ n \ t [[{{节点 map / while / decode_image / cond_jpeg / cond_png / cond_gif / Assert_1 / Assert}} = 断言[T = [DT_STRING]，摘要= 3， _device = \“ / job：localhost /副本：0 / task：0 / device：CPU：0 \”]（map / while / decode_image / cond_jpeg / cond_png / cond_gif / is_bmp， map / while / decode_image / cond_jpeg / cond_png / cond_gif / Assert_1 / Assert / data_0）]]“”）“ }
我在_img_string_to_tensor函数中做错了吗？
您能否进一步说明一下这个tf.placeholder？
input_ph = tf.placeholder(tf.string, shape=[None])
对于上述代码，您使用shape = [1]，但我认为应该为shape = [None]。
答案 0 :(得分：1)
遵循这些原则应该可以起作用：
def serving_input_receiver_fn():
def prepare_image(image_str_tensor):
image = tf.image.decode_image(image_str_tensor,
channels=3)
image = tf.image.resize_images(image, [150, 150])
return image
# Ensure model is batchable
# https://stackoverflow.com/questions/52303403/
input_ph = tf.placeholder(tf.string, shape=[None])
images_tensor = tf.map_fn(
prepare_image, input_ph, back_prop=False, dtype=tf.float32)
return tf.estimator.export.ServingInputReceiver(
{model.input_names[0]: images_tensor},
{'image_bytes': input_ph})
您可以在prepare_image函数中添加其他预处理。请注意，images_tensor应该映射到tf.keras模型中应该接收输入的图层名称上。
答案 1 :(得分：0)
从sdcbr的评论来看，这是我正在寻找的正确答案，但是我刚刚发现了为什么它不起作用的问题。
基于错误
{“错误”：“预测失败：模型执行期间的错误： AbortionError（code = StatusCode.INVALID_ARGUMENT，details =“ \ asserttion 失败：[无法将字节解码为JPEG，PNG，GIF或BMP] \ n \ t [[{{节点 map / while / decode_image / cond_jpeg / cond_png / cond_gif / Assert_1 / Assert}} = 断言[T = [DT_STRING]，摘要= 3， _device = \“ / job：localhost /副本：0 / task：0 / device：CPU：0 \”]（map / while / decode_image / cond_jpeg / cond_png / cond_gif / is_bmp， map / while / decode_image / cond_jpeg / cond_png / cond_gif / Assert_1 / Assert / data_0）]]“”）“ }
这是因为request.json类似于
{\"image_bytes\": {\"b64\": \"YQ==\"}}
{\"image_bytes\": {\"b64\": \"YQ==\"}}
.
.
应该是
{"image_bytes": {"b64": "YQ=="}}
{"image_bytes": {"b64": "YQ=="}}
.
.
我清理并删除了所有反斜杠后，它可以工作！
P.S。这是您需要仔细检查的内容。如果在IPython笔记本上打印出来，则不会显示反斜杠。我必须在编辑器上打开它，然后找到真正的问题。