我有一组ML模型,它们部署在各个吊舱中。他们每个人都有各自的服务。我在service.yaml中使用externalIP来使它们的IP地址(100.0.0.0)与9000相同且在相同的yaml端口中。 我有一个带有单独服务的容器,该容器调用了所有ML模型容器。 现在,我希望所有的Pod(ML型号)具有相同的IP地址和端口,以便通过一个请求就可以得到输出。
但是我无法得到任何回应。 输出:
StatusCode.NOT_FOUND,找不到可用于请求的内容
可能的问题是,当请求到达时,它命中了任何一个Pod(因为它们都具有相同的IP地址和端口),但是请求的模型不在该特定Pod中。
名称类型集群IP外部IP端口的年龄
model1 ClusterIP 100.68.44.27 100.0.0.0 9000 / TCP 1h
有没有一种方法可以一一处理所有的Pod,并从具有请求的模型的任何Pod中获取输出。