服务模型中的Kubeflow管道

Question

我开始研究一个项目的kubeflow管道，并且有一个初学者的问题。看来kubeflow管道可以很好地进行培训，但是在生产中服务如何？

我有一个非常密集的预处理管道来进行培训，并且必须将同一管道用于生产预测。我是否可以使用Seldon Serving之类的方法创建一个端点以启动预处理管道，应用模型然后返回预测？还是将所有内容都放入一个Docker容器的更好方法？

Answer 1

是的，您绝对可以使用Seldon进行投放。实际上，Kubeflow团队提供了一种在培训和服务之间建立联系的简便方法：fairing

会展提供了一种编程方式来部署您的预测端点。您还可以查看this example，了解如何根据训练结果部署Seldon端点。

Answer 2

KF Pipelines专为从头到尾运行的管道而设计。服务过程没有尽头，因此，尽管有可能，但服务本身应在管道之外进行处理。

管道应该做的就是最终将训练有素的模型推向持久的服务领域。

可以通过CMLE服务，Kubeflow的TFServe，Seldon等执行服务。

我可以使用Seldon Serving之类的东西创建一个端点来启动预处理管道，应用模型然后返回预测吗？

由于容器启动的开销，Kubeflow管道通常处理批处理作业。当然，您可以为单个预测运行管道，但是延迟可能不可接受。对于服务而言，最好有一个专用的长期容器/服务来接受请求，转换数据并进行预测。