我有.pb格式的神经网络翻译的Tensorflow模型。 我想使用Flask来提供服务,因为我想在移动应用程序中使用它。 知道如何使用Flask提供Tensorflow模型吗? 谢谢你。
答案 0 :(得分:0)
我不确定张量流是否与scikit学习创建的模型相同。我会把答案放进去...希望这能以某种方式帮助你。
我们公司遇到了类似的问题。我们创建了一个随机森林模型,该模型对一组输入进行了分类,并希望创建一个接受输入并吐出分类输出的端点。
最初,我们在单独的服务器上训练随机森林并腌制模型。
然后我们做了3次尝试(其中3次尝试效果最好)
Attempt1:
在烧瓶应用开始时初始化模型
结果: 我们在aws云上安装了一个微服务器并初始化了一个带有8名工作人员的烧瓶应用程序。 8.随机森林。实例。模型在m4大型服务器上训练。服务器立即崩溃。
ATTEMPT2:
每当调用路径时初始化模型,即在调用路径时调用模型文件。因此,如果“/ classify”是一个路径,每次调用路径时模型都会被取消,然后烧瓶就会忘记它
结果: 更好。服务器没有崩溃。当只有一两个用户时,它工作得很好......但它绝对不是一个可扩展的解决方案......特别是考虑到烧瓶与整个服务器是同步和枪口的混乱
Attempt3: 创建了一个单独的微服务,只有一条路径。
服务器已初始化为一名工作人员。这部署在一个完全不同的服务器上(使用aws lambda)。
结果: 稳定的产出。对于非常大的卷,它肯定会减慢(此时您可以考虑转移到node.js或使用更多的工作人员)
希望这有帮助