有反向传播的替代方法吗？

Question

我知道可以使用梯度下降训练神经网络，并且我知道它是如何工作的。

最近，我偶然发现了其他训练算法：共轭梯度法和准牛顿算法。 我试图了解它们是如何工作的，但我唯一能得到的直觉是它们使用了高阶导数。

我的问题如下：我提到的那些替代算法与反向传播过程从根本上有所不同吗？在反向传播过程中，权重是通过使用损失函数的梯度进行调整的？ 如果不是，是否有一种算法可以训练与反向传播机制根本不同的神经网络？

谢谢

Answer 1

Neuroevolution of augmenting topologies或NEAT是使用遗传算法学习网络拓扑和网络权重/偏差的另一种方法。

Answer 2

共轭梯度和拟牛顿算法仍然是梯度下降算法。反向传播（或反向传播）是nothing more than a fancy name的梯度计算。

但是，反向传播替代方案的原始问题非常重要。例如，最近的替代方案之一是equilibrium propagation（或简称eqprop）。