标签: tensorflow distributed gradients
我确实需要每个批次的参数的深层副本,因为需要进行在线培训而没有batch = 1技巧。
batch = 1
模型较大,创建为分区变量 How can I copy a variable in tensorflow method (2)提到与分区变量不兼容。有什么办法解决这个问题?
method (2)
此外,是否有一个很好的示例可以通过tensorflow在线学习,这里的在线学习意味着,如果100*num_worker为100,则该参数应更新batch_size倍。 / p>
tensorflow
100*num_worker
batch_size