生产中的TensorFlow用于高流量应用中的实时预测 - 如何使用？

Question

在高流量应用中使用TensorFlow进行实时预测的正确方法是什么。

理想情况下，我会有一个服务器/集群运行tensorflow监听端口，我可以从应用服务器连接并获得类似于数据库使用方式的预测。 培训应该由cron作业通过网络将培训数据提供给同一服务器/集群来完成。

如何在生产中实际使用张量流？我应该构建一个python作为服务器运行的设置并使用python脚本来获取预测吗？我还是新手，但我觉得这样的脚本需要打开会话等......这是不可扩展的。 （我说的是每秒预测的100次）。

任何指向相关信息的指针都将受到高度赞赏。我找不到任何。

Answer 1

今天早上，我们的同事在GitHub上发布了TensorFlow Serving，它解决了您提到的一些用例。它是TensorFlow的分布式包装器，旨在支持多个模型的高性能服务。它支持来自应用服务器的批量处理和交互式请求。

有关详细信息，请参阅basic和advanced教程。