我正在尝试实施与强化学习有关的研究论文,并且对以下提到的权重初始化感到困惑:
我们使用四层神经网络作为函数逼近器,以表示最佳作用值函数q。前两个是具有256个隐藏单元的线性层,而ELU Clevert等。 (2015)激活。第三层是具有相同大小的LSTM层。第四层是另一个线性层,具有3个输出单元。该网络相对较小,大约有65,000个参数。 我们遵循He等人提出的初始化方案。 (2015)在LSTM中隐藏层和输入到隐藏层的权重矩阵。我们遵循Le等。 (2015年)将所有隐藏到隐藏的权重矩阵初始化为身份。除了将LSTM中的忘门设置为1外,我们将网络中的所有偏差都设置为零。我们稀疏地初始化输出层权重矩阵为高斯分布N(0; 0:001)。
关于提到的两种类型的矩阵的困惑:隐藏层中的矩阵以及隐藏到隐藏权重矩阵中。我相信2层节点之间会有矩阵,所以我对隐藏层的矩阵感到困惑,隐藏层的矩阵与隐藏权重矩阵之间有什么区别?