ML模型部署CI / CD

时间:2019-07-16 20:15:11

标签: continuous-integration artificial-intelligence kubeflow mleap

我正在使用DataFlow上的MLFlow训练模型,并将最终模型输出到S3上。然后,使用Seldon-Core打包模型并将其部署到AWS EKS。

我正在寻找一种工具,可以通过从S3提取模型,将其打包到docker容器中以及使用Seldon-Core K8S模板将其推送到AWS EKS来弥合差距。

我相信似乎适合这项工作的工具是Kubeflow Pipelines。其他竞争者包括Jenkins,Gitlab和TravisCI。

Kubeflow是绝对合适的工具吗?与其他人相比,Kubeflow的优缺点是什么?如果有人已经进行了研究甚至可能已经建立了管道...

1 个答案:

答案 0 :(得分:0)

GitLab实际上确实是开箱即用的Kubeflow Pipelines,它类似于CircleCI或TravisCI的Yaml。我最终用它代替了Kubeflow Pipelines。

关于Kubeflow ... 在以0.5和0.6版本对Kubeflow进行实验之后,我们的感觉还很不稳定。安装到MiniKube(本地K8S)到AWS EKS都没有顺利进行。对于MiniKube,文档中的安装脚本已损坏,您将能够看到很多人遇到问题并手动编辑安装脚本(这是我必须做的才能正确安装)。在EKS上,我们无法安装0.5,而必须安装旧版本。 Kubeflow希望以特定的方式管理工作节点,而我们的安全策略则不允许这样做,只有在订单版本中,您才能覆盖该选项。

Kubeflow也将切换到Kuztomize,它还不稳定,因此,如果现在使用它,则将使用不再受支持的Ksonnet,并且您将学到一个迟早会在窗口中浏览的工具。 / p>

总而言之,应该等待1.0版,但是Gitlab做得很出色,可以替代kubeflow Pipelines。

希望这对有相同想法的人有所帮助