本地gpu和colab gpu的分布式培训

Question

我想微调ALBERT。

我看到一个人可以使用张量流将神经网络训练分布在多个GPU上：https://www.tensorflow.org/guide/distributed_training

我想知道是否可以在笔记本电脑的gpu和colab gpu上分配微调？

Answer 1

我认为不可能。因为要进行GPU分布式培训，您需要在GPU之间使用NVLink。您的笔记本电脑的GPU和Colab GPU之间没有这样的链接。这是一本不错的https://lambdalabs.com/blog/introduction-multi-gpu-multi-node-distributed-training-nccl-2-0/