是否可以在PyTorch Estimator中使用DistributedDataParallel

Question

我们知道Horovod被支持。有没有使用DistributedDataParallel和Pytorch估计器的示例脚本？

Answer 1

除了Horovod的MPI外，您还应该能够将nccl或gloo指定为分布式数据并行后端。请参阅PyTorch Estimator的 distributed_training 参数。