训练神经网络时，训练数据，计算的激活值和模型参数在哪里存储？

Question

我搜索了很多，但找不到准确的答案。一些网站说，模型参数和训练数据存储在ram上，并在需要时获取，但这不会使训练过程变慢。另外，如果参数要存储在GPU上，为什么要训练消耗我所有GPU内存的模型？谢谢。

Answer 1

是的，它们存储在系统或GPU RAM中（它们还会存储在什么地方？）。

例外情况可能是训练数据，如果它不适合RAM，则使用批量训练，并且一次仅将一部分训练数据（一个或几个批次）存储到RAM中。