Question

我已经部署了一个模型并在tensorflow-serving docker上运行。现在，我想用新的和改进的模型重新部署该模型。

我已经使用以下命令部署了先前的模型：

docker run -p 8501:8501 --mount type=bind,source=/opt/scripts/testing/models/model01/,target=/models/my_model -e MODEL_NAME=my_model -t tensorflow/serving

新模型保存在/ opt / scripts / testing / models / model02 /

Answer 1

如果我正确理解了您的问题，则路径Saved Model中已经有/opt/scripts/testing/models/model01/。

现在，您已经更新/改进了模型并将其保存在路径/opt/scripts/testing/models/model02/中。

现在您要部署模型的新版本。很简单，在Docker Run command中，将model1替换为model2，如下所示：

docker run -p 8501:8501 --mount type=bind,source=/opt/scripts/testing/models/model02/,target=/models/my_model -e MODEL_NAME=my_model -t tensorflow/serving

您可以通过http post访问模型，如下所示（示例）：

curl -d '{"instances": [1.0, 2.0, 5.0]}' \
    -X POST http://localhost:8501/v1/models/my_model:predict

如何使用新版本的模型重新部署tensorflow-serving并通过http post访问它

1 个答案: