Question

您能否建议任何博客或教程，以帮助在TF服务中创建多个TF模型并根据请求创建合适的客户端请求与特定模型进行交互。

我的要求： 1.我必须在tensorflow服务中托管多个模型 2.客户要求使用任何模型，只有这种模型可以使用

让我向您介绍我如何解决此要求： 1.我在Docker容器中复制了所需的模型 2.我创建了以下配置文件，该文件定义了在Docker容器中加载的模型：

model_config_list: {
  config: {
    name:  "model1",
    base_path:  "<path to model1 saved in docker container>",
    model_platform: "tensorflow",
    model_version_policy: {
        all: {}
    }
  },
  config: {
    name:  "model2",
    base_path:  "<path to model2 saved in docker container>",
    model_platform: "tensorflow",
    model_version_policy: {
        all: {}
    }
  }
}

3。接下来，在开始投放而不是定义单个模型的bash路径时，我是在docker容器中提供配置文件的路径：

tensorflow_model_server --port=9000 --model_config_file=<path to config file saved in docker container>

现在，我面临的挑战是： 1.如何在一个客户端文件中为多个模型创建/修改client.py文件。 2.客户请求的格式是什么？

获得任何线索解决挑战将非常有帮助。

谢谢！

Answer 1

“在一个客户端文件中为多个模型创建/修改client.py文件”是什么意思？

您可以像这样指定型号名称和型号版本

request = predict_pb2.PredictRequest()
request.model_spec.name = 'model1'
request.model_spec.version.value = 1 # Or any other number you want

在TF中服务多个TF模型服务并创建适当的客户端请求，以根据请求与特定模型进行交互

1 个答案: