前馈神经网络与递归神经网络的根本区别？

Question

我经常读到，前馈和递归神经网络（RNN）之间存在根本区别，因为缺少内部状态，因此前馈网络中存在短期记忆。这对我来说似乎是合理的。

然而，当我使用Backpropagation through time算法学习循环神经网络时，如果我理解正确的话，将循环网络转换为等效的前馈网络。

这意味着，实际上没有根本的区别。为什么RNN在某些任务（图像识别，时间序列预测......）中的表现要比深度前馈网络好？

Answer 1

使用某种技巧完成训练这一事实并未改变保持网络状态<基本差异的事实/ strong>，在前馈网络中不存在。

“展开”前馈网络不等同于到经常性网络。它只是马尔可夫近似值（达到“展开”水平数给出的水平）。因此，您只需使用 k step memory “模拟”循环网络，而实际的循环神经网络（理论上）具有无限的内存。