PyTorch：是否可以将模型存储在CPU ram中，但是对于大型模型，可以在GPU上运行所有操作？

Question

据我所见，大多数人似乎正在初始化整个模型，然后将整个事情发送到GPU。但是我的神经网络模型太大了，无法完全适合我的GPU。是否可以将模型保存在ram中，但在GPU上运行所有操作？

Answer 1

我认为这是不可能的。但是，一种简单的解决方法是将模型分为多个部分，这些部分将与批处理输入一起放入gpu内存中。

1. 将模型的第一部分发送到gpu并计算输出
2. 从gpu内存中释放模型的前一部分，然后将模型的下一部分发送到gpu。
3. 将输出从1输入到模型的下一部分并保存输出。

重复1到3，直到你达到你的模型最终输出。