如何调试在Tensorflow Serving中运行的模型?

时间:2019-04-09 04:23:08

标签: python c++ tensorflow tensorflow-serving custom-operator

我想尝试使用Tensorflow Serving中的seq2seq模型进行部署。因此,我实现了一个Custom operation来替换py_func,以成功导出基于python的代码。

我已经通过两种方式测试了C ++定制操作。

  1. 使用load_op_library
  2. 从源代码构建Tensorflow服务

两种方法都可以成功运行。 但是,以 second 方式运行时,输出和准确性会有所不同。

我还在自定义op实现中使用了一些printf()来调试输入和输出值。

使用load_op_library,它将在标准输出中打印。

使用TF Serving,在标准输出中看不到任何print

  1. 为什么在TF Serving中运行相同的代码不能给出准确的结果?

  2. 当模型在TF服务中运行时如何调试值(看不到printf的结果)?

  3. 是否可以检查SavedModel的{​​{1}}文件中的值?

0 个答案:

没有答案