计算部分导数用于RTRL训练的递归神经网络

Question

好的，首先关闭嗨，
其次是凌晨3点，我向你保证，经过3个固定的日子，我已经了解了RNN和RTRL，但我的微积分大脑此时已经离我而去。

基本上我正处于需要计算的阶段：

更具体地说：

我使用了各种各样的网站和我的教科书（在这个主题上有0），但这是我的主要来源的其余部分willamette.edu

我遇到的问题是如何以编程方式（Java）部分区分 Yk在Wij方向

我无法理解如何解决这个问题 注意：我确实理解RNN和RTRL是如何工作的。

Answer 1

您没有“以编程方式（Java）部分区分”，您可以进行分析，并实现简单的解决方案。所有这些操作都在任何神经网络相关书籍中进行了描述。

特别是d y_k(t)/d w_ij。 y_k(t)是w_ij的函数假设（为简单起见），这是一个层网络，然后y_k(t)形式为y_k(t) = f( sum w_ij x_j(t) )（我代表偏见为神经元）。因此，计算偏导数会导致f'( sum w_ij x_j(t) ) * x_j(t)

在进入RTRL之前，您应首先了解简单的反向传播`，这需要首先理解简单的 backpropagation 。然后，您可以进入RTRL - 我建议关注tutorial。