Question

要将训练有素的网络导入C ++，您需要导出网络才能执行此操作。在经过大量搜索并几乎找不到相关信息后，我们明确表示我们应该使用freeze_graph()来做到这一点。

感谢新版0.7的Tensorflow，他们添加了documentation。

在查看文档后，我发现几乎没有类似的方法，你能说出freeze_graph()和之间的区别是什么： tf.train.export_meta_graph因为它有类似的参数，但它似乎也可以用于将模型导入C ++（我只是猜测不同的是，通过这种方法使用文件输出你只能使用import_graph_def()或这是别的什么？）

还有一个关于如何使用write_graph()的问题：在文档中，graph_def由sess.graph_def提供，但freeze_graph()中的示例为sess.graph.as_graph_def()。这两者有什么区别？

此问题与this issue.

有关

谢谢！

Answer 1

这是我的解决方案，利用TF 0.12中引入的V2检查点。

无需将所有变量转换为常量或freeze the graph。

为了清楚起见，V2检查点在我的目录models中看起来像这样：

checkpoint  # some information on the name of the files in the checkpoint
my-model.data-00000-of-00001  # the saved weights
my-model.index  # probably definition of data layout in the previous file
my-model.meta  # protobuf of the graph (nodes and topology info)

Python部分（保存）

with tf.Session() as sess:
    tf.train.Saver(tf.trainable_variables()).save(sess, 'models/my-model')

如果使用Saver创建tf.trainable_variables()，您可以节省一些头痛和存储空间。但也许一些更复杂的模型需要保存所有数据，然后将此参数移除到Saver，只需确保在图表之后创建Saver 创建。为所有变量/图层提供唯一名称也是非常明智的，否则您可以在different problems中运行。

Python部分（推理）

with tf.Session() as sess: saver = tf.train.import_meta_graph('models/my-model.meta') saver.restore(sess, tf.train.latest_checkpoint('models/')) outputTensors = sess.run(outputOps, feed_dict=feedDict)

C ++部分（推理）

请注意，checkpointPath不是任何现有文件的路径，只是它们的公共前缀。如果您错误地将.index文件放在路径上，TF就不会告诉您这是错误的，但是由于未初始化的变量，它会在推理期间死亡。

#include <tensorflow/core/public/session.h> #include <tensorflow/core/protobuf/meta_graph.pb.h> using namespace std; using namespace tensorflow; ... // set up your input paths const string pathToGraph = "models/my-model.meta" const string checkpointPath = "models/my-model"; ... auto session = NewSession(SessionOptions()); if (session == nullptr) { throw runtime_error("Could not create Tensorflow session."); } Status status; // Read in the protobuf graph we exported MetaGraphDef graph_def; status = ReadBinaryProto(Env::Default(), pathToGraph, &graph_def); if (!status.ok()) { throw runtime_error("Error reading graph definition from " + pathToGraph + ": " + status.ToString()); } // Add the graph to the session status = session->Create(graph_def.graph_def()); if (!status.ok()) { throw runtime_error("Error creating graph: " + status.ToString()); } // Read weights from the saved checkpoint Tensor checkpointPathTensor(DT_STRING, TensorShape()); checkpointPathTensor.scalar<std::string>()() = checkpointPath; status = session->Run( {{ graph_def.saver_def().filename_tensor_name(), checkpointPathTensor },}, {}, {graph_def.saver_def().restore_op_name()}, nullptr); if (!status.ok()) { throw runtime_error("Error loading checkpoint from " + checkpointPath + ": " + status.ToString()); } // and run the inference to your liking auto feedDict = ... auto outputOps = ... std::vector<tensorflow::Tensor> outputTensors; status = session->Run(feedDict, outputOps, {}, &outputTensors);

Answer 2

对于预测（以及所有其他操作），您可以执行以下操作：

首先在python中你应该命名你的变量或操作以供将来使用

self.init = tf.initialize_variables(tf.all_variables(), name="nInit")

训练之后，当您分配了变量时，计算得到的所有变量都会通过所有变量并保存为图形中的常量。（几乎可以使用该冻结工具完成相同的工作，但我通常自己做，请在下面的py和cpp中检查“name = nWeights”）

def save(self, filename):
    for variable in tf.trainable_variables():
        tensor = tf.constant(variable.eval())
        tf.assign(variable, tensor, name="nWeights")

    tf.train.write_graph(self.sess.graph_def, 'graph/', 'my_graph.pb', as_text=False)

现在转到c ++并加载我们的图并从保存的常量中加载变量：

void load(std::string my_model) {
        auto load_graph_status =
                ReadBinaryProto(tensorflow::Env::Default(), my_model, &graph_def);

        auto session_status = session->Create(graph_def);

        std::vector<tensorflow::Tensor> out;
        std::vector<string> vNames;

        int node_count = graph_def.node_size();
        for (int i = 0; i < node_count; i++) {
            auto n = graph_def.node(i);

            if (n.name().find("nWeights") != std::string::npos) {
                vNames.push_back(n.name());
            }
        }

        session->Run({}, vNames, {}, &out);

现在你已经加载了所有的神经净重或其他变量。

同样，您可以执行其他操作（记住名称？）;制作适当大小的输入和输出张量，用数据填充输入张量并像这样运行会话：

auto operationStatus = session->Run(input, {"put_your_operation_here"}, {}, &out);

Tensorflow在C ++中导出和运行图形的不同方法

2 个答案: