在tensorflow内积累渐变

Question

我正在尝试在执行反向传播之前在tensorflow内累积不同批次的渐变。比方说，我有10批10个样本，并在我的神经网络上输入。对于每个批次，我想获得渐变并总结它们，然后用总和渐变进行反向传播。

有谁知道一个简单的方法吗？截至目前，我正在获得渐变并从外部总结它们，但我不认为这是最好的方法。

Answer 1

您始终可以将批次的渐变添加到变量中，然后在应用更新时将这些变量的值用作渐变。