Question

我最近开始使用keras和vgg16，并且正在使用keras.applications.vgg16。

但是这里我有一个关于model.inputs是什么的问题，因为我看到其他人在https://github.com/keras-team/keras/blob/master/examples/conv_filter_visualization.py中使用了它，尽管它没有初始化

    ...
    input_img = model.input
    ...
    layer_output = layer_dict[layer_name].output
    if K.image_data_format() == 'channels_first':
        loss = K.mean(layer_output[:, filter_index, :, :])
    else:
        loss = K.mean(layer_output[:, :, :, filter_index])

    # we compute the gradient of the input picture wrt this loss
    grads = K.gradients(loss, input_img)[0]

我检查了角膜部位，但只说这是一个形状为（1,224,224,3）的输入张量，但我仍然不明白那是什么。是来自ImageNet的图像，还是keras为keras模型提供的默认图像？

很抱歉，如果我对深度学习没有足够的了解，但是有人可以向我解释一下。谢谢

Answer 1

(1,224,224,3)的4个维度分别是batch_size，image_width，image_height和image_channels。 (1,224,224,3)表示VGG16模型接受1形状为224x224且具有三个通道（RGB）的批量batch（一次一个图像）。

有关batch size和VGG16是什么的更多信息，可以检查this交叉验证问题。

返回到(1, 224, 224, 3)，体系结构的输入为jpg。这是什么意思？为了将图像输入网络，您需要：

对其进行预处理，使其形状分别为（224，224）和3个通道（RGB）
将其转换为形状为（224，224，3）的实际矩阵
以需要网络的大小将一批图像分组在一起（在这种情况下，批大小为1，但是您需要向矩阵添加一个维度，以获得（1、224、224 ，3）

完成此操作后，您可以将图像输入到模型中。

Keras提供很少的实用功能来完成这些任务。下面，我提供了文档Usage examples for image classification models中使用VGG16提取功能中显示的代码段的修改版本。

要使其真正起作用，您需要一个大小为elephant.jpg的{{1}}。您可以通过运行以下bash命令获得它：

wget https://upload.wikimedia.org/wikipedia/commons/f/f9/Zoorashia_elephant.jpg -O elephant.jpg

为了清楚起见，我将在图像预处理和模型预测中拆分代码：

加载图像

import numpy as np
from keras.preprocessing import image
from keras.applications.vgg16 import preprocess_input

img_path = 'elephant.jpg'
img = image.load_img(img_path, target_size=(224, 224))
x = image.img_to_array(img)
x = np.expand_dims(x, axis=0)
x = preprocess_input(x)

您可以沿途添加打印品以查看发生的情况，但这是一个简短的摘要：

image.load_img()加载已经为RGB的PIL图像，并将其重塑为（224，224）
image.img_to_array()正在将该图像转换为形状矩阵（224、224、3）。如果您访问x [0，0，0]，您将获得第一个像素的红色分量，其范围为0到255之间的数字
np.expand_dims(x, axis=0)正在添加第一个维度。之后的x具有形状(1, 224, 224, 3)
preprocess_input进行了图像网络训练的架构所需的额外预处理。从其文档字符串（运行help(preprocess_input)）中，您可以看到它：

将图像从RGB转换为BGR，然后将每个颜色通道相对于ImageNet数据集零中心，而无需缩放

这似乎是ImageNet训练集的标准输入。

就是这样，现在，您只需将图像输入到经过预先训练的模型中即可进行预测

预测

y_hat = base_model.predict(x)
print(y_hat.shape) # res.shape (1, 1000)

y_hat包含为模型分配给该图像的1000个imagenet类中的每一个的概率。

为了获得类名和可读的输出，keras还提供了实用程序功能：

from keras.applications.vgg16 import decode_predictions
decode_predictions(y_hat)

输出，用于我之前下载的Zoorashia_elephant.jpg图像：

[[('n02504013', 'Indian_elephant', 0.48041093),
  ('n02504458', 'African_elephant', 0.47474155),
  ('n01871265', 'tusker', 0.03912963),
  ('n02437312', 'Arabian_camel', 0.0038948185),
  ('n01704323', 'triceratops', 0.00062475674)]]

看起来不错！

Keras：什么是VGG16中的model.inputs

1 个答案:

加载图像

预测