经过大量训练后,神经元网络的适应能力会变慢吗?

时间:2019-04-18 14:02:51

标签: machine-learning deep-learning reinforcement-learning

我是神经网络领域的初学者,我想了解某些陈述。一位朋友说,在您放入大量数据后,神经元网络会变慢。

现在,我刚刚从androw ng完成了Coursera ML课程。在那里,我实施了反向传播。我认为它只是通过使用不同类型的计算来调整与预期输出相关的模型。然而,这并不是像历史那样被用来调整模型。结合正则化,仅检查神经元的当前状态并向后调整其重量。

我的假设正确还是错误?是否存在一些使用历史数据的库,这些历史数据在经过一定程度的训练后可能会导致模型缓慢适应?

我想使用一个简单的神经元网络进行强化学习,并且如果目标环境由于某种原因而需要重置模型,我想获得一个想法。否则我的模型会随着时间的推移变得越来越慢。

感谢任何高级链接和说明!

1 个答案:

答案 0 :(得分:0)

正如您所说,神经网络通过在反向传播步骤中修改其权重来进行自适应。随着训练的进行,修改这些权重将不会变慢,因为修改这些权重的步骤数将始终保持不变。通过模型运行示例所需的步骤数量也将保持不变,因此不会根据您在培训期间提供的示例数量而降低网络速度。

但是,您可以决定在培训期间更改学习率(通常随着时间的推移而降低)。根据模型学习率的发展方式,权重将以不同的方式进行修改,通常每个时期的差异较小。