分布式集群上的Tenseflow动量优化器：动量保存在哪里？

Question

我正在使用Tensorflow在分布式集群上训练模型。

我正在使用tf.train.MomentumOptimizer作为优化程序。 而且我正在使用参数服务器来维护PySpark集群上的全局状态。

我想知道累积的动量是否保存在参数服务器中（对于所有工作人员都是全局的），还是每个工作人员的动量是局部的？ 我在文档中找不到对此的引用。

欢迎任何人在哪里找到答案。