冻结角膜层会减少训练所需的记忆吗？

Question

我已经预先训练了一个大型模型的重量，而该模型无法放入我的vram。如果冻结图层，训练所需的内存会减少吗？如果是这样，冻结的图层权重是否不会保存在vram中？

Answer 1

冻结权重是模型的参数的一部分。因此，如果冻结它们，唯一的事情将发生，那就是不会对它们进行任何计算（请注意：这是正确的，但并非总是如此），因此优化将更快。 由于它们仍然是整个优化过程的一部分，因此它们将在优化（训练）过程中被加载到GPU内存中，就像它们没有被冻结一样。