神经网络不能立即重现？

Question

使用反向传播（弹性）的导数在前馈神经网络中进行随机权重初始化，误差图上的初始位置位于某个随机谷顶上，可能是也可能不是局部最小值。可以使用方法来克服局部最小值，但假设这些方法没有被使用（或者在给定的地形上不能很好地工作），那么神经网络似乎不能立即重现。意思是，有一点运气。

在具有1百万个山谷且只有一个全局最小值的图形上，最多需要1百万次非重复权重初始化才能找到单个全局最小值（假设每次初始化都会使您进入一个完全不同的山谷）。因此，如果我遇到全局最小值（解决方案）的收敛并意外丢失权重（数据损坏或其他），我可能不会再遇到收敛。考虑到这一点，我应该在同一数据集上同时运行多个神经网络，然后在达到所需的错误率后暂停/保存网络吗？我知道同时运行多个网络是一种常见的做法，但这似乎会使这种半强制技术成为强制性的。

Answer 1

正确

您确实迫切需要将这些计算出的重量存储在安全的地方。考虑到困难的搜索环境，您无法保证再次重新发现相同（可能）的最佳解决方案。

多次重启

使用随机重启并跟踪当前最佳解决方案非常普遍。

关于在NN学习的文学

查看精彩图书摘录：A Systematic Introduction