如何从“内存池”中释放内存以进行GPU训练？

Question

使用Cupy分配内存会引发内存不足分配问题，甚至在开始训练之前，几乎已经完成了12 GB的内存消耗。现在，在训练过程中，所有内存都被消耗了。

在CPU上一切正常。

我尝试将批量大小从100减少到个位数（4）。 由于cupy占用内存，我已将小任务更改为numpy。 我尝试使用多个GPU，但是遇到相同的问题

please_refer_this

• 请注意，它在CPU上工作*

结果很好，但我需要使用Cupy进行更多的培训，并且GPU是必需的。