分布式Tensorflow独立权重

时间:2018-03-29 17:14:48

标签: tensorflow distributed

我是分布式tensorflow的新手,我正在尝试实现一种异步算法,其中每个工作人员都有自己的权重,但可以全局访问其他工作人员的权重。目的是在每个训练步骤中,工作人员可以选择继续训练其当前的权重,或继承另一个工人的权重。

我在互联网上搜索了许多关于数据并行性的例子,其中每个设备都具有相同的模型/图形,但似乎在所有情况下权重都是共享的,这不是我想要的。

所以我的问题是,我如何在每个设备上设置相同的图形,但保持可训练的权重是独立的?如何创建一个全局变量,所有工作人员都可以有效地转储或检索权重?我假设必须在参数服务器上设置它。

感谢。

0 个答案:

没有答案