除了梯度下降法之外，单层神经网络能否用其他任何东西进行训练？

Question

我很清楚那里有很多不同的学习算法。反向传播非常流行，但仅适用于多层神经网络。我似乎无法找到任何其他算法而不是可用于训练单层神经网络的梯度下降。

我的问题是：

除了梯度下降算法以外，还有什么能够训练单层神经网络？

Answer 1

渐变下降是一类相关算法，但有一些变体，例如Stochastic Gradient Descent（SGD），Adam，gradient descent with momentum等。

您可能也误解了反向传播的含义。这是一种用于在多层神经网络中实现梯度下降的技术。一般来说，所有神经网络都采用梯度下降的一些变化进行训练，使用反向传播技术来简化梯度下降的实现。