Question

我曾多次尝试在docker容器中安装TFServing。但是我仍然无法在没有任何错误的情况下构建它我关注官方网站上的installation steps。但是在构建期间我仍然遇到编译错误。我怀疑如果dockerfile中存在一些我建立的缺陷。 I attach the screenshot of the error.

Answer 1

截至目前（2019年10月），可在https://hub.docker.com/r/tensorflow/serving上获得适用于CPU和GPU的TFServing官方docker镜像。

要在docker上设置tfserving映像，只需拉出映像并启动容器即可。

拉官方图片

docker pull tensorflow/serving:latest

启动容器

docker run -p 8500:8500 -p 8501:8501 --mount type=bind,source=/path/to/model/dir,target=/models/inception --name tfserve -e MODEL_NAME=inception -t tensorflow/serving:latest

要使用GPU，请提取GPU特定的图像并在docker命令中传递适当的参数

docker pull tensorflow/serving:latest-gpu

docker run -p 8500:8500 -p 8501:8501 --mount type=bind,source=/path/to/model/dir,target=/models/inception --name tfserve_gpu -e MODEL_NAME=inception --gpus all -t tensorflow/serving:latest-gpu --per_process_gpu_memory_fraction=0.001

请注意

gpus all标志用于将所有可用的GPU（如果计算机中有多个GPU，则将它们分配给）。

用户gpus device=1选择第一个GPU设备，如果您需要限制对特定设备的使用。

per_process_gpu_memory_fraction标志用于通过tfserving docker映像限制GPU内存使用。根据您的程序需要传递其值。

Answer 2

我在网上找到了一个满足我需求的dockerfile。 https://github.com/posutsai/DeepLearning_Docker/blob/master/Tensorflow-serving/Dockerfile-Tensorflow-serving-gpu

如何通过docker container

2 个答案: