如何使用累积渐变更新模型参数和批量规范？

Question

所以，类似于这个问题：How to update model parameters with accumulated gradients?

我有一个庞大的网络，并且批量非常小。为了解决这个问题，我想积累渐变（多个前向传递），然后使用平均渐变来应用参数的更新。

但是，我的网络有BN图层。我该怎么办呢？