Tensorflow对象检测中的sync_replicas是什么？

Question

我在线搜索了什么是sync_replica，这就是我找到的

 // Whether to synchronize replicas during training.

  optional bool sync_replicas = 3 [default=false]

我注意到与使用多个GPU训练对象检测模型有关，但是我不知道“在训练过程中是否同步副本意味着什么”