Caffe |检查失败:错误== cudaSuccess(2对0)内存不足

时间:2015-11-18 21:06:03

标签: amazon-web-services cuda neural-network deep-learning caffe

我正在尝试在Caffe上训练一个网络。我的图像大小为512x640。批量大小为1.我正在尝试实施FCN-8s

我目前在拥有4GB GPU内存的Amazon EC2实例(g2.2xlarge)上运行此功能。但是当我运行求解器时,它会立即抛出错误

Check failed: error == cudaSuccess (2 vs. 0)  out of memory
*** Check failure stack trace: ***
Aborted (core dumped)

有人可以帮助我从这里开始吗?

3 个答案:

答案 0 :(得分:15)

你得到的错误确实是内存不足,但它不是RAM,而是GPU内存(注意错误来自CUDA)。
通常,当caffe内存不足时 - 首先要做的是减少批量大小(以gradient accuracy为代价),但是因为你已经批量大小= 1 ...
对于两者 TRAIN和TEST阶段,您确定批量大小为1吗?

答案 1 :(得分:2)

Caffe可以使用多个GPU。这只在C ++接口中支持,而不是在python中支持。您还可以启用cuDNN以降低内存占用量。

https://github.com/BVLC/caffe/blob/master/docs/multigpu.md

答案 2 :(得分:0)

在具有以下配置的PC上运行Deeplab v2时,我面临类似的问题:

----------
OS: Ubuntu 18.04.3 LTS (64-bit)
----------
Processor: Intel Core i7-6700k CPU @ 4.00 GHz x 8
----------
GPU: GeForce GTX 780 (3022 MiB)
----------
RAM : 31.3 GiB
----------

将测试和训练的批量大小都更改为1并没有帮助我。但是,改变输出图像的尺寸确实可以!