Question

我正在尝试构建基本的RNN，但是在训练后尝试使用网络时会遇到错误。我将网络体系结构包含在功能inference

中

def inference(inp):
    with tf.name_scope("inference"):
        layer = SimpleRNN(1, activation='sigmoid',   return_sequences=False)(inp)
        layer = Dense(1)(layer)

    return layer

但是每次我调用它时，尽管在训练中使用了相同的作用域，也会创建另一组变量：

def train(sess, seq_len=2, epochs=100):
    x_input, y_input = generate_data(seq_len)

    with tf.name_scope('train_input'):
        x = tf.placeholder(tf.float32, (None, seq_len, 1))
        y = tf.placeholder(tf.float32, (None, 1))

    with tf.variable_scope('RNN'):
        output = inference(x)

    with tf.name_scope('training'):
        loss = tf.losses.mean_squared_error(labels=y, predictions=output)
        train_op = tf.train.RMSPropOptimizer(learning_rate=0.1).minimize(loss=loss, global_step=tf.train.get_global_step())

    with sess.as_default():
        sess.run([tf.global_variables_initializer(), tf.local_variables_initializer()])

        for i in tqdm.trange(epochs):
            ls, res, _ = sess.run([loss, output, train_op], feed_dict={x:x_input, y:y_input})
            if i%100==0:
                print(f'{ls}: {res[10]} - {y_input[10]}')
            x_input, y_input = generate_data(seq_len)

和预测：

def predict_signal(sess, x, seq_len):   
    # Preparing signal (omitted)
    # Predict
    inp = tf.convert_to_tensor(prepared_signal, tf.float32)
    with sess.as_default():
        with tf.variable_scope('RNN', reuse=True) as scope:
            output = inference(inp)
            result = output.eval()

    return result

到目前为止，我已经花了几个小时来阅读有关变量范围的信息，但是在运行预测时，我仍然遇到错误Attempting to use uninitialized value RNN_1/inference/simple_rnn_2/kernel，每次调用RNN_1的次数都会增加

Answer 1

这只是猜测，直到您向我们展示SimpleRNN实现。但是，我怀疑SimpleRNN的实现非常差。 tf.get_variable和tf.Variable之间有一个不同的getween。我希望您的SimpleRNN使用tf.Variable。

要重现此行为：

import tensorflow as tf


def inference(x):
    w = tf.Variable(1., name='w')
    layer = x + w
    return layer


x = tf.placeholder(tf.float32)

with tf.variable_scope('RNN'):
    output = inference(x)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(output, {x: 10}))

    with sess.as_default():
        with tf.variable_scope('RNN', reuse=True):
            output2 = inference(x)

    print(sess.run(output2, {x: 10}))

这给出了完全相同的错误：

尝试使用未初始化的值RNN_1 / w

但是使用w = tf.get_variable('w', initializer=1.)而不是w = tf.Variable(1., name='w')的版本可以正常工作。

为什么？参见文档：

tf.get_variable:

使用这些参数获取现有变量或创建一个新变量。此函数在名称前加上当前变量作用域，并执行重用检查。

修改谢谢您提出的问题（我在您的问题中添加了keras标志）。这正成为我最喜欢的向人们展示为什么使用Keras是他们做出的最糟糕决定的原因。

SimpleRNN creates it variables here:

self.kernel = self.add_weight(shape=(input_shape[-1], self.units),
                                      name='kernel',...)

此executes the line

weight = K.variable(initializer(shape),
                    dtype=dtype,
                    name=name,
                    constraint=constraint)

其中ends up here

v = tf.Variable(value, dtype=tf.as_dtype(dtype), name=name)

这是实施中的明显缺陷。在Keras以正确的方式使用TensorFlow（至少尊重scopes和variable-collections）之前，您应该寻找替代方案。有人可以为您提供的最佳建议是改用像官方tf.layers这样的更好的东西。

Answer 2

@Patwie对错误做出了正确的诊断，这是参考Keras实现中的可能错误。

但是，在我看来，合乎逻辑的结论不是关闭Keras，而是使用tensorflow随附的Keras实现，该实现可在tf.keras中找到。您会发现在此实现中正确生成了变量。 tf.keras是专门为张量流实现的，应将这种接口错误降至最低。

实际上，如果您已经是张量流，那么使用参考Keras而不是tf.keras不会带来任何特别的好处，除非您正在使用其最新功能，tf.keras通常是在版本方面（例如，目前在TF 1.8 wheras Keras 2.2.0中为2.1.5已经发布了大约一个月）。

尽管重用设置为true，但Tensorflow创建新变量

2 个答案: