Question

我用ResNet50训练了模型，训练集的准确率达到了95％。我接受了相同的训练集进行验证，准确性似乎很差。（<0.05％）

from keras.preprocessing.image import ImageDataGenerator

train_set = ImageDataGenerator(horizontal_flip=True,rescale=1./255,shear_range=0.2,zoom_range=0.2).flow_from_directory(data,target_size=(256,256),classes=['airplane','airport','baseball_diamond',
                                                                    'basketball_court','beach','bridge',
                                                                  'chaparral','church','circular_farmland',
                                                                  'commercial_area','dense_residential','desert',
                                                                  'forest','freeway','golf_course','ground_track_field',
                                                                  'harbor','industrial_area','intersection','island',
                                                                  'lake','meadow','medium_residential','mobile_home_park',
                                                                  'mountain','overpass','parking_lot','railway','rectangular_farmland',
                                                                  'roundabout','runway'],batch_size=31)

from keras.applications import ResNet50 
from keras.applications.resnet50 import preprocess_input
from keras import layers,Model

conv_base = ResNet50(
    include_top=False,
    weights='imagenet')


for layer in conv_base.layers:
    layer.trainable = False

x = conv_base.output
x = layers.GlobalAveragePooling2D()(x)
x = layers.Dense(128, activation='relu')(x) 
predictions = layers.Dense(31, activation='softmax')(x)
model = Model(conv_base.input, predictions)

# here you will write the path for train data or if you create your val data then you can test using that too. 
# test_dir = ""
test_datagen = ImageDataGenerator(rescale=1. / 255) 
test_generator = test_datagen.flow_from_directory( 
    data, 
    target_size=(256, 256), classes=['airplane','airport','baseball_diamond',
                                                                    'basketball_court','beach','bridge',
                                                                  'chaparral','church','circular_farmland',
                                                                  'commercial_area','dense_residential','desert',
                                                                  'forest','freeway','golf_course','ground_track_field',
                                                                  'harbor','industrial_area','intersection','island',
                                                                  'lake','meadow','medium_residential','mobile_home_park',
                                                                  'mountain','overpass','parking_lot','railway','rectangular_farmland',
                                                                  'roundabout','runway'],batch_size=1,shuffle=True)

model.compile(loss='categorical_crossentropy',optimizer='Adam',metrics=['accuracy'])
model.fit_generator(train_set,steps_per_epoch=1488//31,epochs=10,verbose=True,validation_data = test_generator,

validation_steps = test_generator.samples // 31）

Epoch 1/10
48/48 [==============================] - 27s 553ms/step - loss: 1.9631 - acc: 0.4825 - val_loss: 4.3134 - val_acc: 0.0208
Epoch 2/10
48/48 [==============================] - 22s 456ms/step - loss: 0.6395 - acc: 0.8212 - val_loss: 4.7584 - val_acc: 0.0833
Epoch 3/10
48/48 [==============================] - 23s 482ms/step - loss: 0.4325 - acc: 0.8810 - val_loss: 5.3852 - val_acc: 0.0625
Epoch 4/10
48/48 [==============================] - 23s 476ms/step - loss: 0.2925 - acc: 0.9153 - val_loss: 6.0963 - val_acc: 0.0208
Epoch 5/10
48/48 [==============================] - 23s 477ms/step - loss: 0.2275 - acc: 0.9341 - val_loss: 5.6571 - val_acc: 0.0625
Epoch 6/10
48/48 [==============================] - 23s 478ms/step - loss: 0.1855 - acc: 0.9489 - val_loss: 6.2440 - val_acc: 0.0208
Epoch 7/10
48/48 [==============================] - 23s 483ms/step - loss: 0.1704 - acc: 0.9543 - val_loss: 7.4446 - val_acc: 0.0208
Epoch 8/10
48/48 [==============================] - 23s 487ms/step - loss: 0.1828 - acc: 0.9476 - val_loss: 7.5198 - val_acc: 0.0417

可能是什么原因？！

Answer 1

您为train_set和test_datagen分配了不同的内容。特别是其中一个被翻转和缩放，而另一个则没有。正如我在评论中提到的，如果数据相同，则准确性相同。当您正确使用验证并使用看不见的数据进行验证时，您会看到模型过度拟合。使用相同的数据将始终为训练和验证提供相同的准确性

Answer 2

不确定到底是什么问题，但这不是一个过分的问题。很明显，您的验证数据（与训练数据相同）未正确输入。一方面，您将验证批处理大小设置为= 1，但是将验证步骤设置为validate_steps = test_generator.samples // 31）。如果test_generator，samples = 1488，则您有48个步骤，但批次大小为1，您将仅验证48个样品。您要设置批次大小和步骤，以使batch_size Xvalidation_steps等于样本总数。这样，您就可以一次通过验证集。我还建议您为测试生成器设置shuffle = False。还有为什么还要麻烦输入所有的类名。如果您将班级目录标记为“飞机”，“机场”，“棒球_钻石”等，则无需专门定义目录中的班级流程即可自动完成。请参阅下面的文档。

classes：类子目录的可选列表（例如['dogs'，'cats']）。默认值：无。如果未提供，则会从目录下的子目录名称/结构自动推断出类列表，其中每个子目录将被视为一个不同的类（并且映射到标签索引的类顺序将为字母数字）。可以通过属性class_indices获得包含从类名到类索引的映射的字典。

您的训练数据实际上不同于测试数据，因为您正在生成器中使用数据扩充。没关系，这可能会导致您的测试和验证准确性之间存在微小差异，但是一旦您将验证数据正确输入后，您的验证准确性就应该非常接近

当同时用于验证和训练时，为什么数据集的准确性较差？

validation_steps = test_generator.samples // 31）

2 个答案: