Question

我试图训练一个网络，但我得到了，我将我的批量大小设置为300并且我得到了这个错误，但即使我将此减少到100我仍然得到这个错误，并且更令人沮丧的是在~1200个图像上运行10个纪元，它需要大约40分钟，任何建议是什么错了，我怎么可以加快这个过程！任何提示都将非常有用，提前致谢。

---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
<ipython-input-31-3b43ff4eea72> in <module>()
      5         labels = Variable(labels).cuda()
      6 
----> 7         optimizer.zero_grad()
      8         outputs = cnn(images)
      9         loss = criterion(outputs, labels)

/usr/local/lib/python3.5/dist-packages/torch/optim/optimizer.py in     zero_grad(self)
    114                 if p.grad is not None:
    115                     if p.grad.volatile:
--> 116                         p.grad.data.zero_()
    117                     else:
    118                         data = p.grad.data

RuntimeError: cuda runtime error (2) : out of memory at /pytorch  /torch/lib/THC/generic/THCTensorMath.cu:35`

即使我的GPU是免费的

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 384.111                Driver Version: 384.111                       |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 108...  Off  | 00000000:05:00.0 Off |                   N/A |
| 23%   18C    P8    15W / 250W |  10864MiB / 11172MiB |      0%      Default |
    +-------------------------------+----------------------+----------------------+

|   1  GeForce GTX 108...  Off  | 00000000:08:00.0 Off |                  N/A |    
 | 23%   20C    P8    15W / 250W |     10MiB / 11172MiB |          0%      Default
+-------------------------------+----------------------+---------------

Answer 1

一般的问题。这是我对这个问题的看法。

尝试将批次大小（批次数）设置为1。如果此问题得以解决，则可以尝试找到最佳的批次大小。

如果甚至对于bs=1也会收到“ RuntimeError：cuda运行时错误（2）：内存不足”：

请勿使用太大的线性图层。 线性层nn.Linear（m，n）使用O（nm）O（nm）O（nm）内存：也就是说，权重的内存要求与特征数量成正比关系，并且还考虑了梯度。 / p>
不要在整个训练循环中累积历史记录。 如果您在10000个或更多的循环中递归计算损失，则反向传播评估将是巨大的。占用大量内存。
通过del显式删除不需要的张量。
如果您怀疑其他Python进程正在消耗您的内存，请在GPU ps -elf | grep python 上运行kill -9 [pid]和python进程。

让CUDA内存不足

1 个答案: