Backpropagation如何运作?

时间:2015-09-01 18:16:25

标签: neural-network backpropagation

我对深度学习中使用的反向传播算法有疑问。

当我们有 n 训练样本时,我应该如何更新权重?

  • 我应该更新每个样本的权重,然后在下一个样本中再次更新吗?
  • 或者我应该得到它们的平均值,然后使用平均值?

请指导我什么是合理的程序。

谢谢, 阿夫欣

1 个答案:

答案 0 :(得分:3)

他们都是合理的选择。

两种方法都是正确的。它们分别被称为“在线”和“离线”学习。

在线学习

在线机器学习用于数据以顺序方式提供的情况(维基百科上定义的摘录)。

离线学习

当一个人可以同时访问整个训练数据集时,可以使用离线或“批量”学习。使用批量学习的一个优点是提高了对局部最优的免疫力,但这是以增加网络训练成本为代价的(网络通常需要额外的反向传播迭代)。