张量2.0 NMT中编码器-解码器示例中隐藏张量的大小？

Question

有人能暗示为什么tensorflow tutorial中的“ hidden = [tf.zeros（（1，units））]”行是正确的吗？我认为应该是“ hidden = tf.zeros（（1，units））”。

Answer 1

hidden = [tf.zeros((1, units))]使用行encoder。具体来说，hidden作为第二个输入参数传递给encoder.call()。 encoder.call()的定义是：

class Encoder(tf.keras.Model):

  def __init__(self, vocab_size, embedding_dim, enc_units, batch_sz):
    # ... Omitted some code...
    self.gru = tf.keras.layers.GRU(self.enc_units,
                                   return_sequences=True,
                                   return_state=True,
                                   recurrent_initializer='glorot_uniform')

  def call(self, x, hidden):
    x = self.embedding(x)
    output, state = self.gru(x, initial_state = hidden)
    return output, state

如您所见，hidden作为self.gru.call()传递到initial_state。根据{{​​3}}，初始状态必须是一个列表，并且列表的长度必须与RNN的内部状态数匹配。在这种情况下，RNN是GRU，并且存在一个内部状态。因此，您会看到长度为1的列表。