神经网络迷你批量梯度下降

Question

我正在使用多层神经网络。我打算做小批量梯度下降。假设我有超过100万个数据点的100个小批量。我不明白我必须更新整个网络权重的部分。当我对这100个样本进行正向传递时，我总结了这100个样本的所有错误。除此之外我还能做什么？我是否还必须并排计算隐藏层错误？他们何时会被计算出来？

Answer 1

神经网络中的批量学习

对于（所选）数据集中的每个数据实例，您必须计算网络中所有层中每个神经元的权重增量。这与后向传播中的步骤相同。

由于您希望使用批量学习，因此您将延迟重量更新步骤。相反，您应该存储这些增量，并在批处理完成后从批处理中的不同实例中添加增量。然后使用这些新操纵的增量来更新网络中的权重。