从docker容器中使用GPU？

时间：2014-08-07 14:41:34

标签： cuda docker

我正在寻找一种在docker容器内使用GPU的方法。

容器将执行任意代码，因此我不想使用特权模式。

任何提示？

从之前的研究中我了解run -v和/或LXC cgroup是可行的方法，但我不确定如何完全解决这个问题

10 个答案:

答案 0 :(得分：122)

Regan的答案很棒，但它有点过时，因为正确的方法是避免lxc执行上下文，因为Docker将dropped LXC作为默认执行上下文码头工人0.9。

相反，最好通过--device标志告诉docker关于nvidia设备，并且只使用本机执行上下文而不是lxc。

环境

这些说明在以下环境中进行了测试：

  • Ubuntu 14.04
  • CUDA 6.5
  • AWS GPU实例。

在主机上安装nvidia驱动程序和cuda

请参阅CUDA 6.5 on AWS GPU Instance Running Ubuntu 14.04以设置主机。

安装Docker 

$ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys 36A1D7869245C8950F966E92D8576A8BA88D21E9
$ sudo sh -c "echo deb https://get.docker.com/ubuntu docker main > /etc/apt/sources.list.d/docker.list"
$ sudo apt-get update && sudo apt-get install lxc-docker

找到您的nvidia设备

ls -la /dev | grep nvidia

crw-rw-rw-  1 root root    195,   0 Oct 25 19:37 nvidia0 
crw-rw-rw-  1 root root    195, 255 Oct 25 19:37 nvidiactl
crw-rw-rw-  1 root root    251,   0 Oct 25 19:37 nvidia-uvm

运行预先安装了nvidia驱动程序的Docker容器

我已经预先安装了docker image cuda驱动程序。如果你想知道这个图像是如何构建的，可以在dockerhub上找到dockerfile。

您需要自定义此命令以匹配您的nvidia设备。这对我有用：

 $ sudo docker run -ti --device /dev/nvidia0:/dev/nvidia0 --device /dev/nvidiactl:/dev/nvidiactl --device /dev/nvidia-uvm:/dev/nvidia-uvm tleyden5iwx/ubuntu-cuda /bin/bash

验证CUDA已正确安装

这应该从刚刚启动的docker容器内部运行。

安装CUDA样本：

$ cd /opt/nvidia_installers
$ ./cuda-samples-linux-6.5.14-18745345.run -noprompt -cudaprefix=/usr/local/cuda-6.5/

构建deviceQuery示例：

$ cd /usr/local/cuda/samples/1_Utilities/deviceQuery
$ make
$ ./deviceQuery

如果一切正常，您应该看到以下输出：

deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 6.5, CUDA Runtime Version = 6.5, NumDevs =    1, Device0 = GRID K520
Result = PASS

答案 1 :(得分：38)

好的，我终于设法在不使用--privileged模式的情况下完成了这项工作。

我在ubuntu服务器14.04上运行，并且我使用最新的cuda（6.0.37 for linux 13.04 64 bit）。

制备

在您的主机上安装nvidia驱动程序和cuda。 （这可能有点棘手，所以我建议你按照本指南https://askubuntu.com/questions/451672/installing-and-testing-cuda-in-ubuntu-14-04）

注意：保留用于主机cuda安装的文件非常重要

使用lxc

运行Docker守护程序

我们需要使用lxc驱动程序运行docker守护程序，以便能够修改配置并让容器访问设备。

一次使用： 

sudo service docker stop
sudo docker -d -e lxc

永久配置 修改位于/ etc / default / docker中的docker配置文件 通过添加＆＃39; -e lxc＆＃39;来更改DOCKER_OPTS行。 这是修改后的我的行

DOCKER_OPTS="--dns 8.8.8.8 --dns 8.8.4.4 -e lxc"

然后使用

重启守护进程 
sudo service docker restart

如何检查守护进程是否有效使用lxc驱动程序？ 

docker info

执行驱动程序行应如下所示：

Execution Driver: lxc-1.0.5

使用NVIDIA和CUDA驱动程序构建映像。

这是构建CUDA兼容映像的基本Dockerfile。

FROM ubuntu:14.04
MAINTAINER Regan <http://stackoverflow.com/questions/25185405/using-gpu-from-a-docker-container>

RUN apt-get update && apt-get install -y build-essential
RUN apt-get --purge remove -y nvidia*

ADD ./Downloads/nvidia_installers /tmp/nvidia                             > Get the install files you used to install CUDA and the NVIDIA drivers on your host
RUN /tmp/nvidia/NVIDIA-Linux-x86_64-331.62.run -s -N --no-kernel-module   > Install the driver.
RUN rm -rf /tmp/selfgz7                                                   > For some reason the driver installer left temp files when used during a docker build (i don't have any explanation why) and the CUDA installer will fail if there still there so we delete them.
RUN /tmp/nvidia/cuda-linux64-rel-6.0.37-18176142.run -noprompt            > CUDA driver installer.
RUN /tmp/nvidia/cuda-samples-linux-6.0.37-18176142.run -noprompt -cudaprefix=/usr/local/cuda-6.0   > CUDA samples comment if you don't want them.
RUN export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64         > Add CUDA library into your PATH
RUN touch /etc/ld.so.conf.d/cuda.conf                                     > Update the ld.so.conf.d directory
RUN rm -rf /temp/*  > Delete installer files.

运行您的图片。

首先，您需要确定与您的设备相关联的主要号码。 最简单的方法是执行以下命令：

ls -la /dev | grep nvidia

如果结果为空，请使用主机上的其中一个样本启动。 结果应该是这样的 enter image description here 如您所见，组和日期之间有一组2个数字。 这两个数字称为主要和次要数字（按此顺序写入）并设计一个设备。 为方便起见，我们将使用主要数字。

为什么我们激活了lxc驱动程序？ 使用允许我们允许容器访问这些设备的lxc conf选项。 选项是:(我建议使用*作为次要编号，因为它会减少运行命令的长度）

  

- lxc-conf =＆＃39; lxc.cgroup.devices.allow = c [主要号码]：[次要号码或*] rwm＆＃39;

因此，如果我想启动一个容器（假设您的图像名称是cuda）。

docker run -ti --lxc-conf='lxc.cgroup.devices.allow = c 195:* rwm' --lxc-conf='lxc.cgroup.devices.allow = c 243:* rwm' cuda

答案 2 :(得分：28)

我们刚刚发布了一个实验GitHub repository，这可以简化在Docker容器中使用NVIDIA GPU的过程。

答案 3 :(得分：17)

在ubuntu 16.04上更新了cuda-8.0

Dockerfile 

FROM ubuntu:16.04
MAINTAINER Jonathan Kosgei <jonathan@saharacluster.com>

# A docker container with the Nvidia kernel module and CUDA drivers installed

ENV CUDA_RUN https://developer.nvidia.com/compute/cuda/8.0/prod/local_installers/cuda_8.0.44_linux-run

RUN apt-get update && apt-get install -q -y \
  wget \
  module-init-tools \
  build-essential 

RUN cd /opt && \
  wget $CUDA_RUN && \
  chmod +x cuda_8.0.44_linux-run && \
  mkdir nvidia_installers && \
  ./cuda_8.0.44_linux-run -extract=`pwd`/nvidia_installers && \
  cd nvidia_installers && \
  ./NVIDIA-Linux-x86_64-367.48.run -s -N --no-kernel-module

RUN cd /opt/nvidia_installers && \
  ./cuda-linux64-rel-8.0.44-21122537.run -noprompt

# Ensure the CUDA libs and binaries are in the correct environment variables
ENV LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-8.0/lib64
ENV PATH=$PATH:/usr/local/cuda-8.0/bin

RUN cd /opt/nvidia_installers &&\
    ./cuda-samples-linux-8.0.44-21122537.run -noprompt -cudaprefix=/usr/local/cuda-8.0 &&\
    cd /usr/local/cuda/samples/1_Utilities/deviceQuery &&\ 
    make

WORKDIR /usr/local/cuda/samples/1_Utilities/deviceQuery
  1. 运行您的容器

    2. sudo docker run -ti --device /dev/nvidia0:/dev/nvidia0 --device /dev/nvidiactl:/dev/nvidiactl --device /dev/nvidia-uvm:/dev/nvidia-uvm <built-image> ./deviceQuery

    您应该看到类似于的输出：

    deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 8.0, CUDA Runtime Version = 8.0, NumDevs = 1, Device0 = GRID K520 Result = PASS

答案 4 :(得分：16)

NVIDIA最近的增强功能产生了更加强大的方法。

基本上，他们已经找到了一种方法来避免在容器中安装CUDA / GPU驱动程序并使其与主机内核模块匹配。

相反，驱动程序在主机上，容器不需要它们。 它现在需要修改的docker-cli。

这很棒，因为现在容器更便携。

enter image description here

对Ubuntu进行快速测试：

# Install nvidia-docker and nvidia-docker-plugin
wget -P /tmp https://github.com/NVIDIA/nvidia-docker/releases/download/v1.0.1/nvidia-docker_1.0.1-1_amd64.deb
sudo dpkg -i /tmp/nvidia-docker*.deb && rm /tmp/nvidia-docker*.deb

# Test nvidia-smi
nvidia-docker run --rm nvidia/cuda nvidia-smi

有关详细信息，请参阅： GPU-Enabled Docker Container 并且：https://github.com/NVIDIA/nvidia-docker

答案 5 :(得分：6)

写一个更新的答案，因为到目前为止大多数已经存在的答案已经过时了。

早于Docker 19.03的版本用于要求nvidia-docker2和--runtime=nvidia标志。

自 Docker 19.03 起，您需要安装nvidia-container-toolkit软件包，然后使用--gpus all标志。

所以，这是基础知识

软件包安装

按照official documentation at Github安装nvidia-container-toolkit软件包。

对于基于Redhat的操作系统，请执行以下命令集：

$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo

$ sudo yum install -y nvidia-container-toolkit
$ sudo systemctl restart docker

对于基于Debian的操作系统，执行以下命令集：

# Add the package repositories
$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

$ sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
$ sudo systemctl restart docker

在具有GPU支持的情况下运行Docker 

docker run --name my_all_gpu_container --gpus all -t nvidia/cuda

请注意，标志--gpus all用于将所有可用的GPU分配给Docker容器。

要将特定的GPU分配给docker容器（如果您的计算机中有多个GPU）

docker run --name my_first_gpu_container --gpus device=0 nvidia/cuda

或

docker run --name my_first_gpu_container --gpus '"device=0"' nvidia/cuda

答案 6 :(得分：1)

要从Docker容器中使用GPU，而不是使用本机Docker，请使用Nvidia-docker。要安装Nvidia docker，请使用以下命令

curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey |  sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/ubuntu16.04/amd64/nvidia-
docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-docker
sudo pkill -SIGHUP dockerd # Restart Docker Engine
sudo nvidia-docker run --rm nvidia/cuda nvidia-smi # finally run nvidia-smi in the same container

答案 7 :(得分：1)

如果可以使用docker，我不建议在主机上安装CUDA / cuDNN。至少从CUDA 8起，就可以“站在巨人的肩膀上”并使用NVIDIA在其Docker Hub repo中维护的nvidia/cuda基础图像。如果不确定选择哪个版本，请选择最新和最大的版本（如果进行深度学习，请使用cuDNN）。

入门CUDA容器：

mkdir ~/cuda11
cd ~/cuda11

echo "FROM nvidia/cuda:11.0-cudnn8-devel-ubuntu18.04" > Dockerfile
echo "CMD [\"/bin/bash\"]" >> Dockerfile

docker build --tag mirekphd/cuda11 .

docker run --rm -it --gpus 1 mirekphd/cuda11 nvidia-smi

样本输出：

（如果未在容器中找到nvidia-smi，请不要尝试将其安装在容器中-它已通过NVIDIA GPU驱动程序安装在主机上，如果存在，应从主机提供给容器系统使用docker有权访问GPU）：

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 450.57       Driver Version: 450.57       CUDA Version: 11.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  GeForce GTX 108...  Off  | 00000000:01:00.0  On |                  N/A |
|  0%   50C    P8    17W / 280W |    409MiB / 11177MiB |      7%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

先决条件

    首先在主机上安装具有最新CUDA版本支持的

  1. NVIDIA驱动程序（从NVIDIA Driver Downloads然后是mv driver-file.run driver-file.sh && chmod +x driver-file.sh && ./driver-file.sh下载）。自CUDA 10.1起，这些都是向前兼容的。

  2. 通过安装docker在sudo apt get update && sudo apt get install nvidia-container-toolkit中启用GPU访问（然后使用sudo systemctl restart docker重新启动docker daemon）。

答案 8 :(得分：1)

目标：

我的目标是制作一个启用CUDA的docker映像，而不使用nvidia / cuda作为基础映像。因为我有一些自定义的jupyter图像，所以我想以此为基础。

先决条件：

主机已安装 nvidia驱动程序， CUDA工具包和 nvidia-container-toolkit 。请参考官方文档和Rohit's answer。

测试主机上是否正确安装了nvidia驱动程序和CUDA工具包：nvidia-smi，该主机应该显示正确的“驱动程序版本”和“ CUDA版本”并显示GPU信息。

使用以下方法测试nvidia-container-toolkit是否正确安装：docker run --rm --gpus all nvidia/cuda:latest nvidia-smi

Dockerfile

我发现我假设是nvidia / cuda here的官方Dockerfile，我对其进行了“扁平化”处理，将内容附加到我的Dockerfile中并进行了测试，使其运行良好：

FROM sidazhou/scipy-notebook:latest
# FROM ubuntu:18.04 

###########################################################################
# See https://gitlab.com/nvidia/container-images/cuda/-/blob/master/dist/10.1/ubuntu18.04-x86_64/base/Dockerfile
# See https://sarus.readthedocs.io/en/stable/user/custom-cuda-images.html
###########################################################################
USER root

###########################################################################
# base
RUN apt-get update && apt-get install -y --no-install-recommends \
    gnupg2 curl ca-certificates && \
    curl -fsSL https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub | apt-key add - && \
    echo "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64 /" > /etc/apt/sources.list.d/cuda.list && \
    echo "deb https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1804/x86_64 /" > /etc/apt/sources.list.d/nvidia-ml.list && \
    apt-get purge --autoremove -y curl \
    && rm -rf /var/lib/apt/lists/*

ENV CUDA_VERSION 10.1.243
ENV CUDA_PKG_VERSION 10-1=$CUDA_VERSION-1

# For libraries in the cuda-compat-* package: https://docs.nvidia.com/cuda/eula/index.html#attachment-a
RUN apt-get update && apt-get install -y --no-install-recommends \
    cuda-cudart-$CUDA_PKG_VERSION \
    cuda-compat-10-1 \
    && ln -s cuda-10.1 /usr/local/cuda && \
    rm -rf /var/lib/apt/lists/*

# Required for nvidia-docker v1
RUN echo "/usr/local/nvidia/lib" >> /etc/ld.so.conf.d/nvidia.conf && \
    echo "/usr/local/nvidia/lib64" >> /etc/ld.so.conf.d/nvidia.conf

ENV PATH /usr/local/nvidia/bin:/usr/local/cuda/bin:${PATH}
ENV LD_LIBRARY_PATH /usr/local/nvidia/lib:/usr/local/nvidia/lib64


###########################################################################
#runtime next
ENV NCCL_VERSION 2.7.8

RUN apt-get update && apt-get install -y --no-install-recommends \
    cuda-libraries-$CUDA_PKG_VERSION \
    cuda-npp-$CUDA_PKG_VERSION \
    cuda-nvtx-$CUDA_PKG_VERSION \
    libcublas10=10.2.1.243-1 \
    libnccl2=$NCCL_VERSION-1+cuda10.1 \
    && apt-mark hold libnccl2 \
    && rm -rf /var/lib/apt/lists/*

# apt from auto upgrading the cublas package. See https://gitlab.com/nvidia/container-images/cuda/-/issues/88
RUN apt-mark hold libcublas10


###########################################################################
#cudnn7 (not cudnn8) next

ENV CUDNN_VERSION 7.6.5.32

RUN apt-get update && apt-get install -y --no-install-recommends \
    libcudnn7=$CUDNN_VERSION-1+cuda10.1 \
    && apt-mark hold libcudnn7 && \
    rm -rf /var/lib/apt/lists/*


ENV NVIDIA_VISIBLE_DEVICES all
ENV NVIDIA_DRIVER_CAPABILITIES all
ENV NVIDIA_REQUIRE_CUDA "cuda>=10.1"


###########################################################################
#docker build -t sidazhou/scipy-notebook-gpu:latest .

#docker run -itd -gpus all\
#  -p 8888:8888 \
#  -p 6006:6006 \
#  --user root \
#  -e NB_UID=$(id -u) \
#  -e NB_GID=$(id -g) \
#  -e GRANT_SUDO=yes \
#  -v ~/workspace:/home/jovyan/work \
#  --name sidazhou-jupyter-gpu \
#  sidazhou/scipy-notebook-gpu:latest

#docker exec sidazhou-jupyter-gpu python -c "import tensorflow as tf; print(tf.config.experimental.list_physical_devices('GPU'))"

答案 9 :(得分：0)

使用mviereck的x11docker：

https://github.com/mviereck/x11docker#hardware-acceleration说

  

硬件加速

     

使用选项-g，-gpu可以进行OpenGL的硬件加速。

     

在大多数情况下，主机上使用开放源代码驱动程序时，此方法即可使用。否则，请查看Wiki：功能依赖性。       开源NVIDIA驱动程序需要一些设置，并支持更少的x11docker X服务器选项。

此脚本非常方便，因为它可以处理所有配置和设置。使用gpu在X上运行docker镜像非常简单

x11docker --gpu imagename
相关问题
最新问题