早在大学的那一天(大约在2011年,2012年),我被介绍为反向传播,作为培养前馈人工神经网络的最先进技术。
在Tensorflow的例子中,我看到梯度下降的现代旋转(例如RMSProp,Adam)被用于一次训练所有权重,但不使用反向传播。
从直观的角度来看,我理解反向传播是一次训练每一层,因此有多个空间可以进行优化,但每个空间的维度较小(每个层的权重都是一个维度)。相反,没有反向传播就是在单个高维空间内进行优化。当然RMSProp等可以与反向传播相结合,但我看到的是它没有完成。
示例包括https://www.tensorflow.org/get_started/mnist/pros或https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3_NeuralNetworks/autoencoder.py
反向传播过时了吗?