迷你批处理神经网络

Question

我正在尝试为自己的NN正确实现小型批处理。

但是我不能为求和的结果而wrap之以鼻？我是否将权重和偏差的梯度权重或增量权重相加（在本例中学习率已经成倍增加）？

增量权重：activation'(neurons) ⊗ Error * learningRate x input

Delta Bias：activation'(neurons) ⊗ Error * learningRate

我是否也通过批处理大小来划分总和的增量权重或梯度？

编辑：

因此所有问题汇总：

• 没有学习率的增量权重称为梯度吗？
• 我是否需要将学习率乘以或不乘以那些增量权重？
• 所以我必须保存两个单独的渐变？ （偏见+体重）

Answer 1

经过一整夜的研究并查看了许多博客/文章之后，我得出了这些答案（对我有用！）

1）没关系，人们都称其为“梯度”

2）没有     学习率

3）是，完成批处理后，将     学习率（...，如果实施，还可以进行动量优化）