我在考虑应该如何部署多个模型以供使用。我目前正在处理tensorflow。我指的是this和this文章。
但是我找不到任何目标需要以分布式方式服务几种模型的文章。 Q.1。 tensorflow服务是否可以在单台机器上提供模型服务？有什么方法可以设置运行tensorflow服务的机器集群吗？这样，多台机器就可以在某种程度上充当主服务器和从属服务器，或者在服务于不同模型时说它们之间的负载平衡。
Q.2。是否对其他深度学习框架（例如keras，mxnet等）存在类似的功能（不仅限于张量流并提供来自不同框架的模型）？
答案 0 :(得分：0)
A1 ：使用容器编排系统Kubernetes可以轻松地以分布式方式服务tensorflow模型，这将减轻与分散系统有关的许多麻烦，包括负载平衡。请检查serving kubernetes。
A2 ：好的，请检查实例Prediction IO。它不是特定于深度学习的，但可以用于部署使用例如Spark MLLib。