标签： machine-learning gradient recurrent-neural-network
我试图了解梯度消失和爆炸的影响。我看过一些论文，现在有点困惑，因为有些参考激活函数的导数，而另一些参考递归权重矩阵。
所以我在这里看到两个问题。首先，网络越深，与递归权重矩阵的乘法就越多。取决于该矩阵的主导特征值，相乘可以导致大值或小值。 其次，激活函数的导数相同。网络越深，乘法中经常包含此函数的导数。
RNN中消失和爆炸的梯度是这两个问题的影响还是一个解释错误？
感谢您的帮助