有关tensorflow分布式训练示例的问题

时间:2016-08-04 21:03:20

标签: machine-learning tensorflow tensorflow-serving

我正在研究分布式张量流示例:tensorflow distributed training code template 它是图表间副本和异步培训示例模板。

我还发现了以下代码示例,它遵循相同的方式( between-graph,asynchronous )。此示例来自murry's answer。我把它贴在下面,以帮助我表达我的问题:

1,在这个例子中,假设我有两个工作任务和两个ps任务,所有变量:hid_w,hid_b,sm_w,sm_b...是否放在参数服务器(ps)设备上?如果是,则展示位置遵循循环方式(hid_wps/task:0hid_bps/task:1sm_wps/task:0,{ {1}}到sm_b ....)

2,如果我想实现同步复制培训,我可以使用ps/task:1作为包装器。但是,tf.train.SyncReplicasOptimizer只能根据tf.train.SyncReplicasOptimizer Optimizertf.train.AdagradOptimizer来设置渐变下降。我的问题是如何实现像K-means这样的算法的同步训练,它不使用任何tf.train.GradientDescentOptimizer;有没有办法可以在没有Optimizer

的情况下实现同步培训
tf.train.SyncReplicasOptimizer

0 个答案:

没有答案