标签: pytorch
如果使用cuda(),是否需要调用DataParallel来获取模型和数据?
cuda()
DataParallel
假设我们有四个GPU,特别是三个问题:
a。如果我们不调用cuda(),则模型和数据都在CPU上,将其复制到4个GPU上是否会效率低下?
b。如果我们调用cuda(),则模型和数据在GPU#1上,那么就将其复制到GPU#1上是否会导致空间效率低下,或者如果模型/数据是在那里?
c。总体而言,出于时间/空间效率的考虑,如果我们使用cuda(),我们应该打电话给DataParallel吗?