Question

我正在一个项目中，仅使用图像对废物分类，将其分类为塑料和非塑料。但是我仍然不知道在对它们进行分类时模型会考虑哪些特征。我正在使用CNN，但是准确性的预测仍未达到目标。我之所以选择CNN是因为没有将塑料与其他塑料区分开的特殊功能，还有其他方法可以解决此问题吗？例如，如果我训练猫的图像，我的神经网络就会知道什么是猫，但是我没有明确给出特征，同样的情况在这里也有效吗？

Answer 1

假设您要从预训练卷积神经网络 VGGNet, VGG16 中提取特征。

重用卷积基础的代码是：

from keras.applications import VGG16
conv_base = VGG16(weights='imagenet',
include_top=False,
input_shape=(150, 150, 3)) # This is the Size of your Image

最终特征图的形状为（4，4，512）。这是该功能的基础，您将在该功能上粘贴紧密连接的分类器。

有两种提取功能的方法：

不进行数据扩充的快速特征提取：在数据集上运行卷积基础，并将其输出记录到磁盘上的Numpy数组，然后使用此数据作为独立，密集的输入连接分类器，类似于本书第1部分中看到的分类器。该解决方案运行起来快速且便宜，因为它只需要为每个输入图像运行一次卷积基数，并且到目前为止，卷积基数是管道中最昂贵的部分。但是出于同样的原因，这项技术也不允许您使用数据扩充。

使用此方法提取特征的代码如下所示：

import os
import numpy as np
from keras.preprocessing.image import ImageDataGenerator
base_dir = '/Users/fchollet/Downloads/cats_and_dogs_small'
train_dir = os.path.join(base_dir, 'train')
validation_dir = os.path.join(base_dir, 'validation')
test_dir = os.path.join(base_dir, 'test')
datagen = ImageDataGenerator(rescale=1./255)
batch_size = 20
def extract_features(directory, sample_count):
    features = np.zeros(shape=(sample_count, 4, 4, 512))
    labels = np.zeros(shape=(sample_count))
    generator = datagen.flow_from_directory(directory, target_size=(150, 150),
    batch_size=batch_size, class_mode='binary')
    i=0
    for inputs_batch, labels_batch in generator:
        features_batch = conv_base.predict(inputs_batch)
        features[i * batch_size : (i + 1) * batch_size] = features_batch
        labels[i * batch_size : (i + 1) * batch_size] = labels_batch
        i += 1
        if i * batch_size >= sample_count:
            break
return features, labels
train_features, train_labels = extract_features(train_dir, 2000)
validation_features, validation_labels = extract_features(validation_dir,1000)
test_features, test_labels = extract_features(test_dir, 1000)

train_features = np.reshape(train_features, (2000, 4*4* 512))
validation_features = np.reshape(validation_features, (1000, 4*4* 512))
test_features = np.reshape(test_features, (1000, 4*4* 512))

from keras import models
from keras import layers
from keras import optimizers
model = models.Sequential()
model.add(layers.Dense(256, activation='relu', input_dim=4 * 4 * 512))
model.add(layers.Dropout(0.5))
model.add(layers.Dense(1, activation='sigmoid'))
model.compile(optimizer=optimizers.RMSprop(lr=2e-5), 
    loss='binary_crossentropy', metrics=['acc'])
history = model.fit(train_features, train_labels, epochs=30,
batch_size=20, validation_data=(validation_features, validation_labels))

训练非常快，因为您只需要应对两个密集层-即使在CPU上，一个纪元也不到一秒钟

具有数据增强功能的功能提取：通过在顶部添加Dense层并在输入数据上端到端运行整个对象来扩展您的模型（conv_base）。这将使您能够使用数据增强功能，因为每一次输入图像都会在模型每次看到时都经过卷积基数。但是出于同样的原因，该技术比第一种技术昂贵得多

相同的代码如下所示：

from keras import models
from keras import layers
model = models.Sequential()
model.add(conv_base)
model.add(layers.Flatten())
model.add(layers.Dense(256, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

from keras.preprocessing.image import ImageDataGenerator
from keras import optimizers
train_datagen = ImageDataGenerator(rescale=1./255,rotation_range=40,
width_shift_range=0.2,height_shift_range=0.2,shear_range=0.2,
zoom_range=0.2,horizontal_flip=True,fill_mode='nearest')
test_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(train_dir,target_size=(150, 150), batch_size=20, class_mode='binary')
validation_generator = test_datagen.flow_from_directory(
validation_dir,
target_size=(150, 150),
batch_size=20,
class_mode='binary')
model.compile(loss='binary_crossentropy',
optimizer=optimizers.RMSprop(lr=2e-5),
metrics=['acc'])
history = model.fit_generator(train_generator, steps_per_epoch=100,   epochs=30, validation_data=validation_generator, validation_steps=50)

有关更多详细信息，请参阅Keras父亲的《 Francois Chollet》一书“用Python进行深度学习”中的Section 5.3.1

如何从图像中提取特征以训练CNN模型

1 个答案: