梯度下降的更好替代方案

Question

是否存在比梯度下降更快且更有效的方法来更新神经网络中的权重。我们可以使用乘法权重更新来代替梯度下降。它更好吗

Answer 1

您可以查看LMA。我听说MLP受过最有效的训练。

另一个有前景的算法是BFGS。

两种算法都基于Newton's method来近似函数。在我看来比Backpropagation更难理解。