Question

这应该是一个非常简单的问题，但确实抓住了我。

我的目的是加载训练有素的TF模型，然后创建一个会话来运行预测/推理，并为我的设备环境评估一个合适的batch_size。

我准备了两种模型：冻结模型和保存模型。

对于冻结模型，我成功加载并通过.ParseFromString（）获取GraphDef，并通过TensorRT优化GraphDef，但输入节点的batch_size固定为1（1 * 299 * 299 * 3）。似乎在导出然后冻结模型时无法配置batch_size，之后无法更改，因为它只是附加。

对于保存的模型，输入节点的维度是？（*？* 299 * 299 3）。似乎它应该能够接受任何大小的批次。但是在我加载了保存的模型后，输入了一个299 * 299 * 3的图像，并得到了以下错误：

ValueError: Cannot feed value of shape (299, 299, 3) for Tensor u'input:0', which has shape '(?, 299, 299, 3)'

我尝试将axis = 0扩展为输入图像，但仍然出现错误：

InvalidArgumentError (see above for traceback): You must feed a value for placeholder tensor 'import/input' with dtype float and shape [?,299,299,3]

 [[Node: import/input = Placeholder[dtype=DT_FLOAT, shape=[?,299,299,3], _device="/job:localhost/replica:0/task:0/device:GPU:0"]()]]

总的来说，这应该是一个非常简单的问题，但我不确定如何解决它。

欢迎任何想法。

谢谢，

带冻结模型的脚本，占位符固定为（1 * 299 * 299 * 3），因此它只接受“args.batch_size”为1。

    g = ops.Graph()
with g.as_default():
    inp, out = importer.import_graph_def(graph_def=f32_graph, return_elements=['Placeholder','InceptionV3/Logits/SpatialSqueeze'])
    inp = inp.outputs[0]
    out = out.outputs[0]
    print tf.shape(inp)
    if args.image:
        import numpy as np
        func = TestKit.preprocess_func['tensorflow'][args.network]
        img = func(args.image)
        img = np.expand_dims(img, axis = 0)
    batch_input = img
    for i in range(int(args.batch_size)-1):
        batch_input = np.concatenate((batch_input, img), axis=0)
    print len(batch_input)
    gpu_options = cpb2.GPUOptions(per_process_gpu_memory_fraction=0.625)
    with csess.Session(config=cpb2.ConfigProto(gpu_options=gpu_options), graph=g) as sess:
        t0 = time.time()
        for _ in range(2000):
            val = sess.run(out, {inp: batch_input})
            predict = np.squeeze(val)
            top_indices = predict.argsort()[-5:][::-1]
            result = [(i, predict[i]) for i in top_indices]
        t1 = time.time()
        print result
        print 'Duration:', str(t1-t0)

保存模型的脚本，“input：0”节点为（？* 299 * 299 * 3），但不能接受上述任何形状的输入图像。

    with tf.Graph().as_default():                                                                                                                       
    with tf.Session(graph=tf.Graph()) as sess:
        tf.saved_model.loader.load(sess, ['serve'], './')
        for op in sess.graph.get_operations():
            print str(op.name)

        if args.image:
            import numpy as np
            func = TestKit.preprocess_func['tensorflow'][args.network]
            img = func(args.image)
            img = np.expand_dims(img, axis = 0)                                                                           
        inp, out = importer.import_graph_def(graph_def=sess.graph.as_graph_def(), return_elements=['input','InceptionV3/Logits/SpatialSqueeze'])
        t0 = time.time()                                                                                                               
        for _ in range(1000):
            val = sess.run(out, {'input:0':img})
            predict = np.squeeze(val)
            top_indices = predict.argsort()[-5:][::-1]
            result = [(i, predict[i]) for i in top_indices]
        t1 = time.time()
        print result
        print 'Duration:', str(t1-t0)

Answer 1

我终于解决了这个问题。关键是冻结模型不会改变批量大小，因为图形是仅附加的，因此一旦使用输入占位符（1 * 299 * 299 * 3）生成原始图形，它将永远不会被更改。

最后，我尝试使用输入占位符（无* 299 * 299 * 3）重新生成原始二进制图（二进制.pbtxt）。然后将此二进制图转换为冻结模型，然后冻结模型可以具有带维度的输入占位符（？* 299 * 299 * 3）。现在支持批量输入。

谢谢，

如何加载经过培训的TensorFlow模型来预测不同的批量大小？

1 个答案: