Question

我正在尝试在google cloud ml-engine上部署初始模型的重新训练版本。从SavedModel documentation，此reference和此post rhaertel80收集信息，我成功将我的再培训模型导出到SavedModel，将其上传到存储桶并尝试将其部署到ml - 发动机版本。

这最后一个任务实际上创建了一个版本，但它输出了这个错误：

Create Version failed. Bad model detected with error: "Error loading the model: Unexpected error when loading the model"

当我尝试通过命令行从模型中获得预测时，我收到以下错误消息： "message": "Field: name Error: Online prediction is unavailable for this version. Please verify that CreateVersion has completed successfully."

我做了几次尝试，尝试了不同的method_name和tag选项，但都没有效果。

添加到原始初始代码的代码是

  ### DEFINE SAVED MODEL SIGNATURE

  in_image = graph.get_tensor_by_name('DecodeJpeg/contents:0')
  inputs = {'image_bytes': tf.saved_model.utils.build_tensor_info(in_image)}

  out_classes = graph.get_tensor_by_name('final_result:0')
  outputs = {'prediction': tf.saved_model.utils.build_tensor_info(out_classes)}

  signature = tf.saved_model.signature_def_utils.build_signature_def(
      inputs=inputs,
      outputs=outputs,
      method_name='tensorflow/serving/predict'
  )


  ### SAVE OUT THE MODEL

  b = saved_model_builder.SavedModelBuilder('new_export_dir')
  b.add_meta_graph_and_variables(sess,
                                 [tf.saved_model.tag_constants.SERVING],
                                 signature_def_map={'predict_images': signature})
  b.save()

另一个可能有用的考虑因素：我使用导出的trained_graph.pb和graph_def.SerializeToString()来获取本地预测并且工作正常，但是当我用saved_model.pb替换它时，它会失败。

有关问题的建议吗？

Answer 1

在您的signature_def_map中，使用密钥＆＃39; serving_default＆＃39;，该密钥在signature_constants中定义为DEFAULT_SERVING_SIGNATURE_DEF_KEY：

b.add_meta_graph_and_variables(sess,
                               [tf.saved_model.tag_constants.SERVING],
                               signature_def_map={'serving_default': signature})

将重新开发的SavedModel部署到google cloud ml引擎

1 个答案: