Tensorflow中的集体操作是什么？

Question

CollectiveAllReduce documentation提到“集体行动”：

  

它类似于MirroredStrategy，但是它使用集体操作来简化操作。

问题很简单，这些是什么？

Answer 1

尽管这是一个古老的问题，但我想我还是会回答。

对于镜像策略，Tensorflow（2.0）有两种类型，即MirroredStrategy和MultiWorkerMirroredStrategy。 MirrorStrategy镜像每个副本上的变量-在计算机上每个GPU创建一个副本。一方面，MultiWorkerMirroredStrategy将变量复制到集群中的所有工作器上。这就是为什么多工作人员需要TF_CONFIG环境变量设置的原因。

根据文档，CollectiveOps帮助使变量在设备之间保持同步。这些操作人员在不同的工作人员之间共同执行收集，广播，缩减和其他功能。