反向传播过时了吗?

时间:2017-02-17 11:41:37

标签: neural-network backpropagation

早在大学的那一天(大约在2011年,2012年),我被介绍为反向传播,作为培养前馈人工神经网络的最先进技术。

在Tensorflow的例子中,我看到梯度下降的现代旋转(例如RMSProp,Adam)被用于一次训练所有权重,但不使用反向传播。

从直观的角度来看,我理解反向传播是一次训练每一层,因此有多个空间可以进行优化,但每个空间的维度较小(每个层的权重都是一个维度)。相反,没有反向传播就是在单个高维空间内进行优化。当然RMSProp等可以与反向传播相结合,但我看到的是它没有完成。

示例包括https://www.tensorflow.org/get_started/mnist/proshttps://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3_NeuralNetworks/autoencoder.py

反向传播过时了吗?

0 个答案:

没有答案