是反向传播算法独立算法

Question

不是反向传播算法独立算法，还是我们需要贝叶斯等任何其他算法来进行神经网络学习？我们是否需要任何概率方法来实现反向传播算法？

Answer 1

反向传播只是计算计算图中梯度的有效方法。这就是全部。你不必使用它（虽然没有它的计算渐变是非常昂贵的），你用它做什么取决于你 - 有各种各样的方法来使用渐变。最常见的是使用它来运行一阶优化技术（例如SGD，RMSProp或Adam）。因此，要解决您的问题 - 当且仅当您的任务是计算梯度时，反向传播才足够。对于学习神经网络，您至少还需要一个 - 实际学习算法（例如SGD，实际上是单行代码）。很难说如何＆＃34;独立＆＃34;它来自其他方法，正如我所说 - 渐变可以在任何地方使用。