Question

我一直在尝试创建一个saved_model.pb文件（从.ckpt，.meta文件）来进行推理。我可以成功创建一个包含saved_model.pb和变量的文件，但是当我部署脚本时，在预期的张量上会得到一个KeyError：

y_probs = [my_predictor._fetch_tensors['y_prob_{}'.format(p)] for p in protocols]

KeyError: 'y_prob_protocol1'

问题可能出在我如何定义输入/输出（请参见最后的代码），因为馈送和获取张量为空，如下所示：

my_predictor = predictor.from_saved_model('export')

SavedModelPredictor with feed tensors {} and fetch_tensors {}

saver = tf.train.import_meta_graph(opts.model)
builder = tf.saved_model.builder.SavedModelBuilder(opts.out_path)

with tf.Session() as sess:
    # Restore variables from disk.
    saver.restore(sess, opts.checkpoint)
    print("Model restored.")

    input_tensor = tf.placeholder(tf.float32, shape=(None,128,128,128,1), name='tensors/component_0')
    tensor_1 = tf.placeholder(tf.float32, shape=(None,128,128,128,2), name='pred/Reshape')
    tensor_2 = tf.placeholder(tf.float32, shape=(None,128,128,128,3), name='pred1/Reshape')


    tensor_info_input = tf.saved_model.utils.build_tensor_info(input_tensor)
    tensor_info_1 = tf.saved_model.utils.build_tensor_info(tensor_1)
    tensor_info_2 = tf.saved_model.utils.build_tensor_info(tensor_2)


    prediction_signature = (
        tf.saved_model.signature_def_utils.build_signature_def(
            inputs={'x': tensor_info_input},
            outputs={'y_prob_protocol1': tensor_info_1, 'y_prob_protocol2':tensor_info_2},
            method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME))

    builder.add_meta_graph_and_variables(
        sess, [tf.saved_model.tag_constants.SERVING],
        signature_def_map={
            'predict_images':
                prediction_signature,
        })

    builder.save()

谢谢您的帮助！

Answer 1

我怀疑此错误可能有两个原因：

还原的模型（使用检查点保存）可能未正确链接到builder.save()的{{1}}文件。
您在SignatureDef中使用了2个输出，saved_model.pb和tensor_info_1。但是它们没有定义（至少在显示的代码中）。根据定义，我的意思是

tensor_info_2。

您可以使用此简单脚本将检查点和元文件转换为.pb文件。但是必须指定输出节点的名称。

y = tf.nn.softmax(tf.matmul(x, w) + b, name='y')

此转换工作量太大。无需将模型保存到import tensorflow as tf meta_path = 'model.ckpt-22480.meta' # Your .meta file output_node_names = ['output:0'] # Output nodes with tf.Session() as sess: # Restore the graph saver = tf.train.import_meta_graph(meta_path) # Load weights saver.restore(sess,tf.train.latest_checkpoint('.')) # Freeze the graph frozen_graph_def = tf.graph_util.convert_variables_to_constants( sess, sess.graph_def, output_node_names) # Save the frozen graph with open('output_graph.pb', 'wb') as f: f.write(frozen_graph_def.SerializeToString())，然后尝试将其转换为Check Points，您可以使用{{1 }}或使用.pb file。

以下链接中提供了使用SignatureDefs保存模型的示例代码。

这是Google Tensorflow服务团队提供的官方代码，建议您遵循以下代码（流程和结构）。

https://github.com/tensorflow/serving/blob/master/tensorflow_serving/example/mnist_saved_model.py

如何正确创建saved_model.pb？

1 个答案: