Question

我正在尝试将tf.keras图像分类模型部署到Google CloudML Engine。我是否需要包含代码来与培训分开创建服务图，以使其在网络应用中服务于我的模型？我已经有SavedModel格式（saved_model.pb和变量文件）的模型，所以我不确定是否需要执行此额外步骤才能使其正常工作。

例如这是直接来自GCP Tensorflow部署模型documentation

的代码

def json_serving_input_fn():
  """Build the serving inputs."""
  inputs = {}
  for feat in INPUT_COLUMNS:
    inputs[feat.name] = tf.placeholder(shape=[None], dtype=feat.dtype)

  return tf.estimator.export.ServingInputReceiver(inputs, inputs)

Answer 1

您可能正在使用实际的图像文件来训练模型，而最好将编码后的字节字符串的图像发送到CloudML上托管的模型。因此，如上所述，您需要在导出模型时指定一个ServingInputReceiver函数。一些用于Keras模型的样板代码：

# Convert keras model to TF estimator
tf_files_path = './tf'
estimator =\
    tf.keras.estimator.model_to_estimator(keras_model=model,
                                          model_dir=tf_files_path)

# Your serving input function will accept a string
# And decode it into an image
def serving_input_receiver_fn():
    def prepare_image(image_str_tensor):
        image = tf.image.decode_png(image_str_tensor,
                                    channels=3)
        return image  # apply additional processing if necessary

    # Ensure model is batchable
    # https://stackoverflow.com/questions/52303403/
    input_ph = tf.placeholder(tf.string, shape=[None])
    images_tensor = tf.map_fn(
        prepare_image, input_ph, back_prop=False, dtype=tf.float32)

    return tf.estimator.export.ServingInputReceiver(
        {model.input_names[0]: images_tensor},
        {'image_bytes': input_ph})

# Export the estimator - deploy it to CloudML afterwards
export_path = './export'
estimator.export_savedmodel(
    export_path,
    serving_input_receiver_fn=serving_input_receiver_fn)

您可以参考this very helpful answe r以获得更完整的参考以及导出模型的其他选项。

编辑：：如果此方法引发ValueError: Couldn't find trained model at ./tf.错误，则可以尝试使用我在this answer中记录的解决方法。

与针对Google CloudML部署的Tensorflow培训分开创建服务图吗？

1 个答案: