释放内存分配CUDA pytorch？

Question

RuntimeError：CUDA内存不足。尝试分配12.00 MiB（GPU 1; 11.91 GiB总容量； 10.12 GiB已经分配；免费21.75 MiB； 56.79 MiB已缓存）

我在pytorch培训期间遇到了先前的错误。
我在jupyter笔记本上使用pytorch。有没有办法释放jupyter笔记本中的gpu内存？

Answer 1

调整batch_size或

https://pytorch.org/docs/stable/notes/faq.html

total_loss = 0
for i in range(10000):
    optimizer.zero_grad()
    output = model(input)
    loss = criterion(output)
    loss.backward()
    optimizer.step()
    total_loss += loss