Tensorflow分布式工作人员什么时候提交给参数服务器？

Question

我读了很多关于在tensorflow中训练神经网络的分布式执行。特别是在这个页面上 https://www.tensorflow.org/api_docs/python/tf/train/SyncReplicasOptimizer

但是我无法找到答案。在完成每个变量的计算后，工人是否同步其渐变？还是等到它完成所有变量然后与PS同步？

Answer 1

据我所知，所有渐变都将在计算结束时更新一次。然而，有一种纸张使得反向传播过程流水线化，因此它加快了性能的速度。