更新变量时分布式张量流的原子性

Question

我正在研究分布式张量流。但是我对更新变量感到好奇。

假设我们尝试使用具有1个PS和N个工作人员的Parameter Server系统训练模型。

当他们一个工人一个工人更新变量时，在变量更新期间是否有原子性保证？

具体来说，我可以检查TensorFlow中提供变量原子性的源代码吗？

谢谢。

Answer 1

据我所知，变量具有一个assign_add接口，该接口具有一个参数：use_locking（默认为False）。因此，我认为如果不设置use_locking，就不能保证在更新变量期间原子性。