tf.concat和tf.reshape会截断梯度流吗？

Question

我正在使用LSTM层来生成某些输入的隐藏状态表示。然后，我将重塑此隐藏状态表示并将其与其他输入连接起来，以馈入第二个LSTM层。

由于我的目标是对该模型进行端到端训练，所以我想知道反向传播（通过AdaDelta优化器）是否可以在包括第一LSTM层在内的整个计算图中进行。

这是代码的一般结构：

ActivatedRoute

如果我在一个会话中评估train_op，是否会更新初始LSTM层（timewise_lstm_stack）的权重？

Answer 1

tf.concat和tf.reshape不会影响渐变，因为这些操作不会影响从头到尾的可区分性。这样您就可以端到端训练。

如果要检查这一点，只需查看第一个LSTM的权重即可。它们将在更新后更改。