仅在使用TensorFlow服务时如何禁用GPU支持并使用CPU和RAM?

时间:2019-04-18 15:47:37

标签: tensorflow gpu cpu serving

我手头有一个通过GPU支持编译的TF-Serving docker映像,将我的模型加载到视频内存并通过TensorFlow REST API进行服务没有问题,但是目前我想知道如何禁用GPU支持在提供模型服务时,这意味着,使用相同的GPU支持的TF-Serving码头工人镜像,我希望将模型仅加载到服务器RAM(而不是Nvidia卡上的视频内存),并让TF-Serving使用CPU仅可能吗?例如。通过在运行容器时设置一些ENV变量?

非常感谢您!

我想要这样做是因为与之相比,我的服务器RAM很大,而Nvidia卡的内存却很小,而当前的推理速度并不是我的首要考虑。

预期结果:运行TF-Serving容器时,我的模型将加载到服务器RAM(但不加载Nvidia卡内存),并且服务计算过程将仅使用CPU。

0 个答案:

没有答案