在1.1.0-rc2中组合Attention,Multi,Residual cell包装器的正确方法

时间:2017-04-20 19:13:13

标签: python tensorflow

我正在尝试合并以下内容:

tf.contrib.rnn.AttentionCellWrapper
tf.contrib.rnn.MultiRNNCell
tf.contrib.rnn.ResidualWrapper
tf.contrib.rnn.LSTMCell

我正在以下列方式构建单元格

  cell = tf.contrib.rnn.AttentionCellWrapper(
    tf.contrib.rnn.MultiRNNCell([
    tf.contrib.rnn.ResidualWrapper(
      cell=tf.contrib.rnn.LSTMCell(dec_units))
      for _ in range(dec_layers)]),
      attn_length=attn_len)

如果我将attn_len保持为较小(1-2),但是将attn_len增加到较大值(5+)会导致脚本无限期挂起,并且在训练开始时将一个CPU核心固定为100%(0步骤完成)。

这是合并这些元素的合适方式吗?我应该覆盖可选参数的默认值吗?

0 个答案:

没有答案