我正在尝试使用火炬转换运行2 gpu。
from apex.parallel import DistributedDataParallel as DDP
#multi gpu
os.environ["CUDA_VISIBLE_DEVICES"] = '0, 1'
torch.distributed.init_process_group(backend='nccl',
init_method='env://')
#model = nn.DataParallel(model, output_device=1)
model = DDP(model, delay_allreduce=True)
我添加了这个init_process_group和DDP部分
1.该程序无法正常运行
2.而且我不知道后端和init_method是什么意思