如何使用API​​中的TensorFlow部署和提供预测？

Question

从谷歌教程我们知道如何在TensorFlow中训练模型。但是保存训练模型的最佳方法是什么，然后在生产服务器中使用基本的最小python api进行预测。

我的问题基本上是针对TensorFlow保存模型并在实时服务器上提供预测而不影响速度和内存问题的最佳实践。由于API服务器将永远在后台运行。

一小段python代码将不胜感激。

Answer 1

TensorFlow Serving是一款用于机器学习模型的高性能开源服务系统，专为生产环境而设计，并针对TensorFlow进行了优化。初始版本包含基于gRPC的C ++服务器和Python客户端示例。基本架构如下图所示。

要快速入门，请查看tutorial。