在Distributed Tensorflow中,拥有多个参数服务器有什么影响?

时间:2017-07-28 15:01:50

标签: tensorflow parameters parallel-processing distributed

当我们有一个由其工作人员更新的参数服务器时,为同一数量的工作人员提供多个参数服务器会产生什么影响?

即。当我们有多个参数服务器而不是一个参数服务器时会发生什么?

谢谢。

1 个答案:

答案 0 :(得分:2)

这称为具有多个参数服务器分片。这提供了更多细节 https://static.googleusercontent.com/media/research.google.com/en//archive/large_deep_networks_nips2012.pdf,尤其是第4.1节

  

为了将SGD应用于大型数据集,我们引入了Downpour SGD,一种变体   异步随机梯度下降使用多个   单个DistBelief模型的复制品。基本方法是   如下:我们将训练数据分成若干子集并运行   每个子集上的模型副本。模型进行沟通   通过集中的参数服务器进行更新,这样可以保持   模型的所有参数的当前状态,分为多个   机器(例如,如果我们有10个参数服务器分片,每个分片都是   负责存储和应用更新到模型的十分之一   参数)(图2)