Tensorflow seq2seq chatbot始终提供相同的输出

时间:2018-06-03 02:52:51

标签: python tensorflow machine-learning deep-learning seq2seq

我试图用Tensorflow创建一个seq2seq聊天机器人,但它似乎会收敛到相同的输出,尽管输入不同。该模型在首次初始化时给出不同的输出,但在几个时期之后快速收敛到相同的输出。即使在很多时代和低成本之后,这仍然是个问题。然而,当使用较小的数据集(比如20)训练时,模型看起来很好,但是在较大的数据集中失败了。

我在康奈尔电影对话语料库上进行了一次100维和50000个词汇手套预训练的培训。

当给出完全不同的输入时,编码器似乎具有非常接近的最终状态(在大约0.01的范围内)。我尝试过使用简单的LSTM / GRU,双向LSTM / GRU,多层/堆叠LSTM / GRU以及多层双向LSTM / GRU。已经使用16到2048个隐藏单元测试了rnn节点。唯一的区别是,当隐藏单位较少时,模型往往只输出起始和结束标记(GO和EOS)。

对于多层GRU,这是我的代码:

cell_encode_0 = tf.contrib.rnn.GRUCell(self.n_hidden)
cell_encode_1 = tf.contrib.rnn.GRUCell(self.n_hidden)
cell_encode_2 = tf.contrib.rnn.GRUCell(self.n_hidden)
self.cell_encode = tf.contrib.rnn.MultiRNNCell([cell_encode_0, cell_encode_1, cell_encode_2])
# identical decoder

...

embedded_x = tf.nn.embedding_lookup(self.word_embedding, self.x)
embedded_y = tf.nn.embedding_lookup(self.word_embedding, self.y)

_, self.encoder_state = tf.nn.dynamic_rnn(
    self.cell_encode,
    inputs=embedded_x,
    dtype=tf.float32,
    sequence_length=self.x_length
    )

# decoder for training
helper = tf.contrib.seq2seq.TrainingHelper(
    inputs=embedded_y,
    sequence_length=self.y_length
    )

decoder = tf.contrib.seq2seq.BasicDecoder(
    self.cell_decode,
    helper,
    self.encoder_state,
    output_layer=self.projection_layer
    )

outputs, _, _ = tf.contrib.seq2seq.dynamic_decode(decoder, maximum_iterations=self.max_sequence, swap_memory=True)

return outputs.rnn_output

...

# Optimization
dynamic_max_sequence = tf.reduce_max(self.y_length)
mask = tf.sequence_mask(self.y_length, maxlen=dynamic_max_sequence, dtype=tf.float32)
crossent = tf.nn.sparse_softmax_cross_entropy_with_logits(
    labels=self.y[:, :dynamic_max_sequence], logits=self.network())
self.cost = (tf.reduce_sum(crossent * mask) / batch_size)
self.train_op = tf.train.AdamOptimizer(self.learning_rate).minimize(self.cost)

有关完整代码,请参阅github。 (如果你想测试它,请运行train.py)

对于超参数,我尝试了从0.1一直到0.0001以及批量大小从1到32的学习速率。除了常规和预期效果之外,它们无法解决问题。

1 个答案:

答案 0 :(得分:0)

经过几个月的探索,我终于找到了问题。 RNN似乎在解码器输入中需要GO令牌,但在输出中不需要GO令牌(您用于成本的令牌)。基本上,RNN希望其数据如下:

  

编码器输入:GO foo foo foo EOS

     

解码器输入/地面真相:GO bar bar bar EOS

     

解码器输出:bar bar bar EOS EOS / PAD

在我的代码中,我在解码器的输入和输出中都包含了GO令牌,从而使RNN重复相同的令牌(GO-> GO,bar-> bar)。通过创建不具有基本事实的第一列(GO令牌)的其他变量,可以轻松解决此问题。在numpy中,看起来像

# y is ground truth with shape[0] = batch and shape[1] = token index
np.concatenate([y[:, 1:], np.full([y.shape[0], 1], EOS)], axis=1)