设置更高的共享内存以避免Google Colab上的PyTorch运行时错误

时间:2018-11-02 16:00:41

标签: docker pytorch google-colaboratory fast-ai

在Colab中将pytorch 1.0 Preview与fastai v1.0一起使用。

我经常得到RuntimeError: DataLoader worker (pid 13) is killed by signal: Bus error.来执行更多的内存密集型任务(不算什么)。

看起来像是共享内存问题: https://github.com/pytorch/pytorch/issues/5040#issue-294274594

修复该问题似乎是要更改docker容器中的共享内存:

https://github.com/pytorch/pytorch/issues/2244#issuecomment-318864552

  

看起来docker容器的共享内存设置得不够高。通过在docker run命令中添加--shm-size 8G来设置更高的数量似乎是这里提到的技巧。

如何增加在Colab中运行的Docker容器的共享内存,否则将避免此错误?

1 个答案:

答案 0 :(得分:1)

无法在colab中修改此设置,但已提高了默认设置以解决此问题,因此您无需进一步更改设置:https://github.com/googlecolab/colabtools/issues/329