我正在研究分布式张量流示例:tensorflow distributed training code template 它是图表间副本和异步培训示例模板。
我还发现了以下代码示例,它遵循相同的方式( between-graph,asynchronous )。此示例来自murry's answer。我把它贴在下面,以帮助我表达我的问题:
1,在这个例子中,假设我有两个工作任务和两个ps任务,所有变量:hid_w,hid_b,sm_w,sm_b...
是否放在参数服务器(ps)设备上?如果是,则展示位置遵循循环方式(hid_w
至ps/task:0
,hid_b
至ps/task:1
,sm_w
至ps/task:0
,{ {1}}到sm_b
....)
2,如果我想实现同步复制培训,我可以使用ps/task:1
作为包装器。但是,tf.train.SyncReplicasOptimizer
只能根据tf.train.SyncReplicasOptimizer
Optimizer
和tf.train.AdagradOptimizer
来设置渐变下降。我的问题是如何实现像K-means这样的算法的同步训练,它不使用任何tf.train.GradientDescentOptimizer
?;有没有办法可以在没有Optimizer
tf.train.SyncReplicasOptimizer