Question

我训练过Keras模型并将模型和权重保存到两个单独的文件中。我的训练数据和验证数据分为两类：

training_data/
    positive/
    negative
validation_data/
    positive/
    negative/

两个训练数据目录每个包含900k个样本，验证数据目录每个包含20k个样本。所有样本均为43x43px。

我的模型和学习过程定义如下：

def get_model(img_width, img_height):
    model = Sequential()
    model.add(Conv2D(32, (3, 3), input_shape=(img_width, img_height, 3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))

    model.add(Conv2D(32, (3, 3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))

    model.add(Conv2D(64, (3, 3)))
    model.add(Activation('relu'))
    model.add(MaxPooling2D(pool_size=(2, 2)))

    model.add(Flatten())
    model.add(Dense(64))
    model.add(Activation('relu'))
    model.add(Dropout(0.5))
    model.add(Dense(1))
    model.add(Activation('sigmoid'))

    return model

model = get_model(43, 43)
model.compile(loss='binary_crossentropy', optimizer='rmsprop',
              metrics=['accuracy'])

train_datagen = ImageDataGenerator(
    rescale=1. / 255,
    shear_range=0.2,
    zoom_range=0.2,
    rotation_range=20,
    width_shift_range=0.2,
    height_shift_range=0.2)

test_datagen = ImageDataGenerator(rescale=1. / 255)

train_generator = train_datagen.flow_from_directory(
    train_data_dir,
    target_size=(img_width, img_height),
    batch_size=batch_size,
    class_mode='binary')

validation_generator = test_datagen.flow_from_directory(
    validation_data_dir,
    target_size=(img_width, img_height),
    batch_size=batch_size,
    class_mode='binary')

history = model.fit_generator(
    train_generator,
    steps_per_epoch=nb_train_samples // batch_size,
    epochs=epochs,
    validation_data=validation_generator,
    validation_steps=nb_validation_samples // batch_size)

model.save(os.path.join('model.h5'))
model.save_weights(os.path.join('weights.h5'))
save_model_info(params)

20个时期的培训过程，1024个批次大小，1.800,000个培训样本和40.000个验证样本大约需要5个小时。 history对象就在这里，因为我也在保存准确性和学习图表。

现在，我正在努力使这个模型预测在给定的测试样本中存在哪些受过训练的两类。因此，我创建模型，加载权重并尝试运行预测。

model = get_model(43, 43)
model.load_weights(args.weights_file)
model.compile(loss='binary_crossentropy', optimizer='rmsprop',
              metrics=['accuracy'])

result = []
files = os.listdir(input_dir)
for file in files:
    image = load_img(file)
    image = np.asarray(image)
    image = np.expand_dims(image, axis=0)
    result.append(model.predict(image))

print(result)

这是有效的，但不是我想要的方式。输出是这样的：

[array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32), array([[ 0.]], dtype=float32)]

这是我的问题。我需要为每个给定的文件进行预测，如

{'negative': 0.925, 'positive': 0.0725}

格式与此无关。我的观点是，如何获得每个训练过的班级的概率？我想我尝试使用所有的模型预测方法，但没有一个给我我需要的东西。我在代码中做错了什么，或者需要以某种方式完成不同的工作？

Answer 1

让我尝试提供方法，既可以追踪问题的根本原因，又可以让SO的受访者更轻松地帮助您......

首先，正如我在评论中所说，SO中的代码应该是minimal，即足以重现该问题;由于我们无法访问您的数据，因此根本不包含training_generator，validation_generator，目录结构或[...]等详细信息，这些信息无效受访者只是注意力分散注意力（只有在您使用公开数据集，如MNIST或CIFAR时，它们才有用）：

<强>最小

需要处理的代码越多，人们就越不可能找到   你的问题。

可以说，同样的原则也适用于问题中的文本 ......

其次，尝试预测一些你知道输出接近1;据我所知，有了你提供的信息，可能是没有错的情况，只是你尝试的（少数）测试样本都发生了概率0（负） - 可能不太可能，但并非不可能，你最好明确检查一下。

澄清最后一点：由于你的最后一层有一个节点，你的输出将是[0,1]中的单号，通常被视为概率{{ 1}}用于你的一个类（另一个类的概率在二进制分类中只是p）;所以，至少输出的格式根本就不奇怪。

第三，在保存模型之前尝试做一些预测，因为模型保存＆amp;加载（google it），并将它们与加载模型中的相同预测进行比较;如果存在差异，则您已大大缩小了对原因的搜索范围。

希望这会有所帮助;希望如果确实存在问题，遵循这些步骤将有助于您自己解决问题，或者将其缩小到特定点，您可以在此处开启一个新的，更有针对性的问题。在这种情况下，遵循How to create a Minimal, Complete, and Verifiable example的SO指南将显着提高您从某人那里获得有用答案的机会......

Answer 2

我设法修复了这个问题并且它正在运行。问题是我在训练模型时在ImageGenerator中添加了rescale参数：

train_datagen = ImageDataGenerator(
    rescale=1. / 255,
    shear_range=0.2,
    zoom_range=0.2,
    rotation_range=20,
    width_shift_range=0.2,
    height_shift_range=0.2)

我在运行预测时没有添加这个：

for file in files:
    image = load_img(file)
    image = np.asarray(image)
    image = np.expand_dims(image, axis=0)
    result.append(model.predict(image))

我改变了这一行

image = np.expand_dims(image, axis=0)

现在看起来像这样

img = np.expand_dims(img / 255, axis=0)

我还更新了加载模型，更改了行（但仅用于预测，而不是培训）：

model = get_model(43, 43)
model.load_weights(args.weights_file)
model.compile(loss='binary_crossentropy', optimizer='rmsprop',
          metrics=['accuracy'])

进入这个：

model = load_model(args.model_file)

我用我的所有样本运行预测并用结果填充一个numpy数组，然后将该数组更改为image并且它正在工作。谢谢大家的帮助，再次感谢抱歉。

模型训练后的Keras预测

2 个答案: