需要陷入神经网络的局部最优

Question

我需要陷入前馈神经网络的局部最优。我需要一个示例和一个权重的初始化，使用最陡的梯度下降将卡在局部最优（在每个维度的特定边界权重内）。我找不到这样的例子，至少看起来如此，因此无法测试新的算法。

任何人都可以指出一些文件，资源，或者为我提供一个如何陷入局部最佳状态的例子。

Answer 1

让我们分析一下“陷入局部最优”的意思。看看SARPROP paper。 SARPROP是一种用于前馈神经网络的学习算法，其目标是避免陷入局部最优。请查看链接文档第3页的图1。它显示了关于一个单一重量的错误表面。在训练的早期阶段，此错误表面将快速改变。但是一旦算法接近收敛，关于一个权重的该错误表面将稳定。现在，如果您的学习算法无法将重量“推”到“山丘”以达到更好的最佳状态，那么您将陷入关于某一重量的局部最优状态。 SARPROP试图通过在原始RPROP中涉及的权重更新中添加正噪声来解决此问题。因此该算法有可能被推出这样的“山谷”。

现在，要构建局部最优的收敛，您应该计算一组随机权重，这些权重在下面保持固定。现在使用已知的学习算法快速收敛于局部最优，如RPROP。然后使用相同的权重初始化并应用SARPROP或您的新算法。然后比较例如网络收敛后，训练数据的均方根误差。使用数百个权重初始化并应用统计信息来执行此操作。