使用Flask提供tensorflow模型

时间:2018-05-20 09:19:27

标签: tensorflow flask

我有.pb格式的神经网络翻译的Tensorflow模型。 我想使用Flask来提供服务,因为我想在移动应用程序中使用它。 知道如何使用Flask提供Tensorflow模型吗? 谢谢你。

1 个答案:

答案 0 :(得分:0)

我不确定张量流是否与scikit学习创建的模型相同。我会把答案放进去...希望这能以某种方式帮助你。

我们公司遇到了类似的问题。我们创建了一个随机森林模型,该模型对一组输入进行了分类,并希望创建一个接受输入并吐出分类输出的端点。

最初,我们在单独的服务器上训练随机森林并腌制模型。

然后我们做了3次尝试(其中3次尝试效果最好)

Attempt1:

在烧瓶应用开始时初始化模型

结果: 我们在aws云上安装了一个微服务器并初始化了一个带有8名工作人员的烧瓶应用程序。 8.随机森林。实例。模型在m4大型服务器上训练。服务器立即崩溃。

ATTEMPT2:

每当调用路径时初始化模型,即在调用路径时调用模型文件。因此,如果“/ classify”是一个路径,每次调用路径时模型都会被取消,然后烧瓶就会忘记它

结果: 更好。服务器没有崩溃。当只有一两个用户时,它工作得很好......但它绝对不是一个可扩展的解决方案......特别是考虑到烧瓶与整个服务器是同步和枪口的混乱

Attempt3: 创建了一个单独的微服务,只有一条路径。

服务器已初始化为一名工作人员。这部署在一个完全不同的服务器上(使用aws lambda)。

结果: 稳定的产出。对于非常大的卷,它肯定会减慢(此时您可以考虑转移到node.js或使用更多的工作人员)

希望这有帮助