Theano lstm - 什么是初始隐藏状态

Question

我在找到的一段代码中无法理解这一行：

def has_hidden(layer):
    """
    Whether a layer has a trainable
    initial hidden state.
    """
    return hasattr(layer, 'initial_hidden_state')

我的问题是最初的隐藏状态是什么？有什么用？ 或者什么是层状态？我熟悉隐藏的图层，RNN，来自论文和视频的LSTM，但我找不到任何有关此事的内容。谢谢你的帮助。

Answer 1

一层神经元的状态是在那个时间点描述它的所有权重（其连接）的集合。

为了获得良好的训练表现，你必须从0开始为一层神经元的所有权重。解决此问题的最常见方法是将所有权重初始化为小但非零的数字。这将描述神经网络的初始状态。