在LSTM中爆炸细胞状态

时间:2017-05-25 15:35:17

标签: tensorflow deep-learning lstm recurrent-neural-network

我想训练用于图像分割的多维LSTM。这需要我计算在多维情况下

的单元状态
tf.tanh(cell)*input_gate 
+ cell_state_l*forget_gate_l 
+ cell_state_t*forget_gate_t

其中所有门x都是0 <= x <= 1。现在在这些条件下,不能保证我的单元状态不会无限制地增长。

确保这一点的正确方法是什么?

我已经阅读了几篇使用这些文章的文章,他们没有说明我需要做些额外的工作以确保细胞状态不会爆炸。我已经阅读了一些论文,这些论文表示将忘记门的偏差初始化为一个看似hacky的大数字负数,而且在引入多维LSTM http://www.cs.toronto.edu/~graves/phd.pdf

的原始作品中没有提到这一点。

我该如何控制它?

0 个答案:

没有答案