标签： deep-learning pytorch huggingface-transformers
我有一个基于转换器的模型，但添加修改后的 GPU 内存使用量更多的是基本模型使用量，这是正常的。不正常的是两种模型的使用差异。我试图跟踪 tensors memory usage 我注意到张量确实使用了更多的内存，但没有那么多会导致如此巨大的消耗，然后跟踪 these steps。
没什么区别，使用率还是很高的。 在这种情况下，指定模型的哪些部分使用大量 GPU 内存的最佳步骤是什么？