具有嘈杂功能的共轭梯度

Question

好的，所以我正在做RMS道具或SGD以获得一个神经网络来学习它的参数。但是，过了一段时间，训练和验证错误似乎都停滞不前（在随机波动之外：我使用辍学）......

所以，我决定尝试使用共轭梯度来细化这些值。我显然不希望它过度装备，所​​以我保持辍学......但是，当然，这使得优化功能很吵。所以，我想我的问题是：共轭梯度（或L-BFGS等）是否需要无噪声功能？或者他们可以在有噪音的情况下工作吗？

谢谢！

Answer 1

基于梯度的优化算法对噪声非常敏感。这是因为衍生计算受到功能域噪声引起的不连续性的影响。

为了优化噪声目标函数，最好使用启发式算法：遗传算法，模拟退火，蚁群，粒子群......它们不是基于梯度，因此它们不会出现相同的弱点。

您可以在本书中阅读有关这些算法的更多信息：

Duc Pham，D。Karaboga，智能优化技术。英国伦敦：Springer-Verlag伦敦，2000年。

如果您对模拟退火感兴趣，还可以阅读：

Peter Rossmanith，“模拟退火”， Algorithms Unplugged ，Vöcking，B.，Alt，H.，Dietzfelbinger，M.，Reischuk，R.，Scheideler，C.，Vollmer，H。 ，Wagner，D.，Ed。柏林，德国：Springer-Verlag Berlin Heidelberg，2011，ch。 41，pp.393-400。