如何增加nvidia-docker初始化的超时限制

时间:2018-06-14 15:53:11

标签: docker nvidia-docker

我想知道如何在初始化时增加nvidia-docker的超时限制。

当我的4 GPU服务器中有2个或更多时,我总是收到超时错误:

  

nvidia-container-cli:初始化错误:驱动程序错误:超时

启动docker时

docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi

非常感谢您的帮助!

2 个答案:

答案 0 :(得分:0)

我不知道如何更改超时,尽管您可以通过提前启动nvidia-persistenced来解决此问题,这将初始化GPU设备并使其保持打开状态,因此驱动程序不必运行在Docker启动期间完成该过程。

答案 1 :(得分:0)

这不是该问题的确切答案,而只是克服超时错误的一种解决方法。

在启动docker之前,运行nvidia-smi以查看GPU上正在运行哪些进程。使用以下命令禁用这些过程:

kill -TSTP [pid]

然后启动docker。完成后,使用以下命令继续先前禁用的进程:

kill -CONT [pid]