我对深度学习中使用的反向传播算法有疑问。
当我们有 n 训练样本时,我应该如何更新权重?
请指导我什么是合理的程序。
谢谢, 阿夫欣
答案 0 :(得分:3)
两种方法都是正确的。它们分别被称为“在线”和“离线”学习。
在线学习在线机器学习用于数据以顺序方式提供的情况(维基百科上定义的摘录)。
离线学习当一个人可以同时访问整个训练数据集时,可以使用离线或“批量”学习。使用批量学习的一个优点是提高了对局部最优的免疫力,但这是以增加网络训练成本为代价的(网络通常需要额外的反向传播迭代)。