Question

我试图制作一个Tensorflow图表，其中图表的一部分已经过预先训练并在预测模式下运行，而其余的列车。我已经定义了我预先训练好的细胞：

rnn_cell = tf.contrib.rnn.BasicLSTMCell(100)

state0 = tf.Variable(pretrained_state0,trainable=False)
state1 = tf.Variable(pretrained_state1,trainable=False)
pretrained_state = [state0, state1]

outputs, states = tf.contrib.rnn.static_rnn(rnn_cell, 
                                            data_input,
                                            dtype=tf.float32,
                                            initial_state = pretrained_state)

将初始变量设置为trainable=False并没有帮助。这些仅用于初始化权重，因此权重仍然会发生变化。

我仍然需要在训练步骤中运行优化器，因为我的模型的其余部分需要训练。但是，如何阻止优化器更改此rnn单元格中的权重？

rnn_cell是否等同于trainable=False？

Answer 1

您可以使用tf.stop_gradient()来阻止图表的pretrained部分更新其权重，也可以使用optimiser()来指定应该训练图表的哪些部分。第二种方法包括：

 #Create variable scope for the trainable parts of the graph: tf.variable_scope('train').

 # get trainable variables
 t_vars = tf.trainable_variables()
 train_vars = [var for var in t_vars if var.name.startswith('train')]
 # train only the variables of a particular scope
 opt = optimizer.minimize(cost, var_list=train_vars)

如何在Tensorflow中使RNN单元的权重无法处理？

1 个答案: