在奇异容器中构建Pytorch

时间:2019-11-28 11:23:44

标签: python pytorch setuptools singularity-container

由于我想在IBM Power 9机器上的奇异容器内使用pytorch,因此必须从源代码构建pytorch。 docker容器仅适用于x86。 作为基本映像,我使用docker的nvidia/cuda-ppc64le:10.1-cudnn7-devel-ubuntu18.04

使用python3.6 setup.py install构建pytorch时,几个文件被写入/tmp,这还不够大。

+ df -h
Filesystem               Size  Used Avail Use% Mounted on
/dev/loop1                59G  5.1G   51G  10% /
/dev/mapper/centos-root  8.0G  3.5G  4.6G  44% /tmp
devtmpfs                  62G     0   62G   0% /dev
tmpfs                     62G     0   62G   0% /dev/shm
+ mount
/host_data/tmp/tmp.dfXu0VfDn2/singularity-build-temp-dir.ext4 on / type ext4 (rw,relatime,data=ordered)
/dev/mapper/centos-root on /tmp type xfs (rw,relatime,attr2,inode64,noquota)
/dev/mapper/centos-root on /var/tmp type xfs (rw,relatime,attr2,inode64,noquota)
proc on /proc type proc (ro,nosuid,nodev,noexec,relatime)
sysfs on /sys type sysfs (ro,nosuid,nodev,noexec,relatime)
devtmpfs on /dev type devtmpfs (rw,nosuid,size=64368384k,nr_inodes=1005756,mode=755)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev,size=64415488k,nr_inodes=1006492)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
mqueue on /dev/mqueue type mqueue (rw,relatime)
/dev/mapper/centos-root on /etc/resolv.conf type xfs (ro,nosuid,nodev,noexec,relatime,attr2,inode64,noquota)
/dev/mapper/centos-root on /etc/hosts type xfs (ro,nosuid,nodev,noexec,relatime,attr2,inode64,noquota)

我已经尝试设置SINGULARITY_TMPDIR,但仅增加/而不增加/tmp

我也尝试过

python3.6 setup.py build -b /var/tmp/pytorch
python3.6 setup.py install

似乎没有任何作用。

是否可以防止python或conda将其临时文件写入/tmp,还是可以增加/tmp的空间? 像-B这样的挂载选项似乎仅适用于execshell,而不适用于build

0 个答案:

没有答案