标签： machine-learning huggingface-transformers
我想使用Huggingface的变形金刚对GPT-2模型进行微调。最好是中型，但如果可能的话，要大一些。目前，我有一个具有11GB内存的RTX 2080 Ti，并且可以很好地训练小型模型。
我的问题是：如果我在机器上添加旧的Tesla K80（24GB）并分发了培训，是否会遇到任何问题？我找不到有关在培训期间使用不同容量的GPU以及可能遇到的问题的信息。
我的模型大小限制将基本上是所有可用GPU内存的总和吗？ （35GB？）
我对在AWS中执行此操作不感兴趣。