TLDR

Question

我正在尝试在TensorFlow代码中使用经过预先训练的Keras模型，如this Keras blog post下第二节：将TensorFlow与Keras模型结合使用中所述。

我想使用Keras中可用的预先训练的VGG16网络从图像中提取卷积特征图，并在其上添加我自己的TensorFlow代码。所以我做到了：

import tensorflow as tf
from tensorflow.python.keras.applications.vgg16 import VGG16, preprocess_input
from tensorflow.python.keras import backend as K

# images = a NumPy array containing 8 images

model = VGG16(include_top=False, weights='imagenet')
inputs = tf.placeholder(shape=images.shape, dtype=tf.float32)
inputs = preprocess_input(inputs)
features = model(inputs)

with tf.Session() as sess:
    K.set_session(sess)
    output = sess.run(features, feed_dict={inputs: images})
    print(output.shape)

但是，这给了我一个错误：

FailedPreconditionError: Attempting to use uninitialized value block1_conv1_2/kernel
     [[Node: block1_conv1_2/kernel/read = Identity[T=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:GPU:0"](block1_conv1_2/kernel)]]
     [[Node: vgg16_1/block5_pool/MaxPool/_3 = _Recv[client_terminated=false, recv_device="/job:localhost/replica:0/task:0/device:CPU:0", send_device="/job:localhost/replica:0/task:0/device:GPU:0", send_device_incarnation=1, tensor_name="edge_132_vgg16_1/block5_pool/MaxPool", tensor_type=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:CPU:0"]()]]

相反，如果我在运行网络之前运行初始化程序op：

with tf.Session() as sess:
    K.set_session(sess)
    tf.global_variables_initializer().run()
    output = sess.run(features, feed_dict={inputs: images})
    print(output.shape)

然后我得到预期的输出：

(8, 11, 38, 512)

我的问题是，在运行tf.global_variables_initializer()时，变量是随机初始化还是使用ImageNet权重初始化？我之所以这样问，是因为上面提到的博客文章中没有提到使用预训练的Keras模型时需要运行初始化程序，这确实让我感到不安。

我怀疑它确实使用了ImageNet权重，并且仅因为TensorFlow需要显式初始化所有变量才需要运行初始化程序。但这只是一个猜测。

Answer 1

TLDR

使用Keras时，

尽可能避免使用Session（本着不可知的Keras精神）
否则，请使用Keras处理的Session至tf.keras.backend.get_session。
在程序的早期阶段将Keras的set_session用于高级用途（例如，当需要进行概要分析或放置设备时），这与常规做法和“纯” Tensorflow的良好用法背道而驰。

关于此的更多信息

必须先初始化变量，然后才能使用它们。实际上，它比这要微妙得多：必须在会话中使用变量对其进行初始化。让我们来看这个例子：

import tensorflow as tf

x = tf.Variable(0.)

with tf.Session() as sess:
    tf.global_variables_initializer().run()
    # x is initialized -- no issue here
    x.eval()

with tf.Session() as sess:
    x.eval()
    # Error -- x was never initialized in this session, even though
    # it has been initialized before in another session

因此，model中的变量未初始化也就不足为奇了，因为您是在sess之前创建模型的。

但是，VGG16不仅为模型变量（用tf.global_variables_initializer调用的模型变量）创建初始化操作，而且实际上确实调用了它们。问题是，Session在哪个范围内？

由于构建模型时不存在，因此Keras为您创建了一个默认模型，您可以使用tf.keras.backend.get_session()进行恢复。现在可以按预期使用该会话，因为在此会话中初始化了变量：

with tf.keras.backend.get_session() as sess:
    K.set_session(sess)
    output = sess.run(features, feed_dict={inputs: images})
    print(output.shape)

请注意，您还可以创建自己的Session并通过keras.backend.set_session将其提供给Keras-这正是您所做的。但是，如本例所示，Keras和TensorFlow具有不同的心态。

一个TensorFlow用户通常会先构造一个图，然后实例化一个Session，也许是在冻结图之后。

Keras与框架无关，并且在构造阶段之间没有这种固有的区别-特别是，我们在这里了解到Keras可能很好地实例化了会话在图构造期间。

因此，在使用Keras时，如果您需要处理需要tf.Session的TensorFlow特定代码，我建议您不要自己管理tf.keras.backend.get_session，而应该依靠tf.Session。 / p>

Answer 2

作为@ P-Gn答案的补充，如果您坚持显式创建一个新会话（如您正在阅读的教程），则应放置以下行：

sess = tf.Session()
K.set_session(sess)

在创建模型之前（例如model = VGG16(...)），然后使用创建的会话，例如：

with sess.as_defualt():
    output = sess.run(features, feed_dict={inputs: images})

将Keras模型整合到TensorFlow中

2 个答案:

TLDR

关于此的更多信息