我想在同一名称空间的不同容器中部署多个ML模型。但是,每当我从aws ECR中提取新映像并使用头盔进行部署时,它将终止当前正在运行的吊舱并制作一个新吊舱。因此,我无法部署多个模型。每次杀死前一个并制造一个新豆荚。
helm upgrade --install tf-serving ./charts/tf-serving/ --namespace mlhub
OR
helm upgrade --recreate-pods --install tf-serving ./charts/tf-serving/ --namespace mlhub
tf-serving-8559fb87d-2twwl 1/1 Running 0 37s tf-serving-8559fb87d-m6hgs 0/1 Terminating 0 45s
它杀死了前一个并制造了一个新产品,但是两种型号的图像在标签上也有所不同。
答案 0 :(得分:3)
您可以使用一个Helm图表来创建多个Release。例如,要部署第一个模型:
helm install ./charts/tf-serving/ --name tf-serving --namespace mlhub
如果以后要添加另一个:
helm install ./charts/tf-serving/ --name tf-serving2 --namespace mlhub
现在,当您运行helm list
时,将可以同时看到tf-serving
和tf-serving2
。
请注意,您不能拥有多个具有相同名称的相同种类的Kubernetes资源,因此我建议在图表中使用{{ .Release.Name }}
值作为所有已部署资源的前缀。