如何在tensorflow中实现像caffe一样的iter_size

Question

我正在使用tensorflow。我的gpu内存不够用，所以我想平均4次迭代的渐变来更新变量。

如何在tensorflow中执行此操作？

Answer 1

我遇到了同样的问题。我认为this example可能对您的问题有用。它使用N个GPU计算N个批次，然后进行一次反向传播。您需要做的是修改165-166行。运行'compute_gradients（）''iter_size'次并运行'average_gradients（）'一次。