递归神经网络(RNN) - 忘记层和TensorFlow

时间:2017-05-24 10:40:46

标签: python tensorflow recurrent-neural-network

我是RNN的新手,我试图找出LSTM细胞的具体细节,并且它们与TensorFlow有关:Colah GitHub enter image description here 与TensorFlow相比,GitHub网站的示例使用相同的LSTM单元吗?我在TensorFlow网站上唯一得到的是基本的LSTM单元使用以下架构:Paper如果它是相同的架构,那么我可以手工计算LSTM单元的数字并查看它是否匹配。

同样,当我们在tensorflow中设置基本LSTM单元格时,根据TensorFlow documentation

,它会接收num_units
tf.nn.rnn_cell.GRUCell.__init__(num_units, input_size=None, activation=tanh)

隐藏状态(h_t)和细胞状态(C_t)的数量是多少?

根据GitHub网站,没有提到细胞状态和隐藏状态的数量。我假设他们必须是相同的号码?

1 个答案:

答案 0 :(得分:4)

实施看起来与GRUCelldoc相同,同样也指出了Colah文章中给出的link相同的论文(特别是门控)。参数num_units是单元格数(假设是隐藏图层)对应output_size到期属性definition