Question

我正在为以下问题编写代码：

我有一个包含训练和测试目录的水果数据集。在这两个目录中，包含 6 个类（新鲜/腐烂的苹果、新鲜/腐烂的橙子、新鲜/腐烂的香蕉）。
我正在 MobileNetV2 模型上使用迁移学习

我正在尝试正确设置我的数据拆分，但我不知道如何...

获取训练、验证和测试拆分设置
如何检查它们是否确实设置正确（例如，没有某种数据重叠）
我如何通过培训来保存进度。（例如：我运行的脚本训练了 10 个 epochs。当我再次运行我的脚本 x epochs 时，如何确保从我中断的地方继续训练。）

到目前为止我的代码：

train_batches = ImageDataGenerator(preprocessing_function=mobilenet_v2.preprocess_input, validation_split=0.20).flow_from_directory(
    train_path, target_size=(im_height, im_width), batch_size=batch_size)
test_batches = ImageDataGenerator(preprocessing_function=mobilenet_v2.preprocess_input).flow_from_directory(
    test_path, target_size=(im_height, im_width), batch_size=batch_size)

mobv2 = tf.keras.applications.mobilenet_v2.MobileNetV2()

x = mobv2.layers[-2].output
output_layer = Dense(units=6, activation='softmax')(x)

model = tf.keras.models.Model(inputs=mobv2.input, outputs=output_layer)
for layer in model.layers[:-25]:
    layer.trainable = False

model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=.0001),
              loss='categorical_crossentropy',
              metrics=['accuracy']
              )

这是我的合身，但尚未完成，因为我不确定验证和测试要包含哪些内容....

model.fit(train_batches, steps_per_epoch=4, )

Answer 1

看下面的代码

train_batches = ImageDataGenerator(preprocessing_function=mobilenet_v2.preprocess_input, validation_split=0.20).flow_from_directory(
    train_path, target_size=(im_height, im_width), batch_size=batch_size,
     subset='training)
valid_batches=ImageDataGenerator(preprocessing_function=mobilenet_v2.preprocess_input, validation_split=0.20).flow_from_directory(
    train_path, target_size=(im_height, im_width), batch_size=batch_size,
     subset='validation')
epochs = 15 # set the number of epochs to run
history=model.fit(train_batches,  epochs=epochs, verbose=1, 
                validation_data=valid_batches, verbose=1)'

为了获得更好的结果，我还建议您考虑使用可调整的学习率使用 Keras 回调 ReduceLROnPlateau。文档是 here. 设置它以监视验证丢失。使用以下代码：

rlronp=tf.keras.callbacks.ReduceLROnPlateau( monitor="val_loss", factor=0.5,
                                            patience=10, verbose=1)

我还建议您使用 Keras 回调 EarlyStopping。文档是 here. 使用下面的代码

es=tf.keras.callbacks.EarlyStopping(monitor="val_loss", patience=3, verbose=1,    
                                  restore_best_weights=True)

现在在model.fit中包含

callbacks=[rlronp, es]

CNN：拆分训练、测试和验证并保存训练进度

1 个答案: