我正在阅读张量流代码,并遇到了这个答案tensorflow-using-parameter-servers-in-distributed-training
非常想知道细节吗?
答案 0 :(得分:2)
这里有一些关于如何在https://www.tensorflow.org/deploy/distributed设置和使用分布式模型的详细信息。
除了ps
节点没有超出server.join()
的代码之外,工作人员和“参数服务器”之间几乎没有区别,这允许其他节点在其上放置操作。在上述文档的示例中,在worker上运行的代码在ps
设备上建立变量,使用它们计算模型,并将它们优化为本地资源 - 使用基本相同的with
机制好像有人将操作分配给gpu或cpu。
您是否有兴趣了解更具体的内容?