Question

我正在尝试将LSTM细胞堆叠在TF中，这就是我所拥有的：

for layer in xrange(args.num_layers):
    cell_fw = tf.contrib.rnn.LSTMCell(args.hidden_size,
                                  initializer=tf.orthogonal_initializer())

    cell_bw = tf.contrib.rnn.LSTMCell(args.hidden_size,
                                  initializer=tf.orthogonal_initializer())

    cells_fw.append(cell_fw)
    cells_bw.append(cell_bw)

output = initial_input 
for layer in xrange(args.num_layers):
    ((output_fw, output_bw), (last_state_fw, first_state_bw)) = tf.nn.bidirectional_dynamic_rnn(
        cells_fw[layer], cells_bw[layer], output,
        dtype=tf.float32)

    output = tf.concat([output_fw, output_bw], axis=-1)

这给了我一个错误：

ValueError：已经变量bidirectional_rnn / fw / lstm_cell / kernel 存在，不允许。你的意思是在VarScope中设置reuse = True吗？

当我将其设置为true时，我得到了

ValueError：变量bidirectional_rnn / fw / lstm_cell / kernel没有存在，或者不是用tf.get_variable（）创建的。你的意思是设置在VarScope中重用=无？

有人可以告诉我我做错了什么或者做正确的方法是什么。

Answer 1

通常您只需要在this issue中建议的不同范围内创建RNN：

with tf.variable_scope('lstm1'):
  output, state = tf.nn.rnn_cell.BasicLSTMCell(3)(input, init_state)
with tf.variable_scope('lstm2'):
  output2, state2 = tf.nn.rnn_cell.BasicLSTMCell(3)(input2, init_state2)

请注意，范围应涵盖 RNN 创建，而不是 cell 创建。

如果您确实需要将这些RNN放在同一范围内，请使用reuse=tf.AUTO_REUSE（在tensorflow的最新版本中引入）进行调用。

在张量流中堆叠LSTM层/单元

1 个答案: