pytorch多GPU分布式Dataparallel未运行

时间:2020-03-22 02:26:43

标签: pytorch distributed-computing multi-gpu

我正在尝试使用火炬转换运行2 gpu。

from apex.parallel import DistributedDataParallel as DDP

   #multi gpu
    os.environ["CUDA_VISIBLE_DEVICES"] = '0, 1'

    torch.distributed.init_process_group(backend='nccl',
                                             init_method='env://')
    #model = nn.DataParallel(model, output_device=1)
    model = DDP(model, delay_allreduce=True)

我添加了这个init_process_group和DDP部分
1.该程序无法正常运行
2.而且我不知道后端和init_method是什么意思

0 个答案:

没有答案