我想尝试使用Tensorflow Serving中的seq2seq模型进行部署。因此,我实现了一个Custom operation
来替换py_func,以成功导出基于python的代码。
我已经通过两种方式测试了C ++定制操作。
两种方法都可以成功运行。 但是,以 second 方式运行时,输出和准确性会有所不同。
我还在自定义op实现中使用了一些printf()
来调试输入和输出值。
使用load_op_library
,它将在标准输出中打印。
使用TF Serving
,在标准输出中看不到任何print
。
为什么在TF Serving中运行相同的代码不能给出准确的结果?
当模型在TF服务中运行时如何调试值(看不到printf的结果)?
是否可以检查SavedModel
的{{1}}文件中的值?