Question

我正在尝试使用ImageDataGenerator（）建立图像分类模型。似乎该模型训练和执行不佳。训练损失保持在15左右，准确度仅为10％，验证结果大致相同。

我只是想看看会发生什么，所以我尝试不使用ImageDataGenerator（）进行训练，并以类似的方式设置数据。它在培训，验证和测试方面的表现要好得多。训练损失为0.71，准确性为75％，验证损失为0.8，准确性为72％。

我需要使用数据生成器来弄清楚这个模型，因为我将继续研究更大的数据集，而该数据集将无法容纳在内存中。

所以，我想我的问题是ImageDataGenerator（）表现不好，怎么办？我该如何改善结果？

设置文件时（在所有Train，Test和Validation文件夹中），有些类具有其自己的文件夹，而这些文件夹中是图像所在的位置。

代码如下：

import tensorflow as tf
from tensorflow.keras.preprocessing.image import ImageDataGenerator
import pickle
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Activation, Flatten, Conv2D, MaxPooling2D, Dropout

data_gen = ImageDataGenerator()
IMG_SIZE = 100
train_it = data_gen.flow_from_directory('D:/.../Train/', class_mode='sparse',
                                       target_size=(IMG_SIZE, IMG_SIZE),color_mode='grayscale', shuffle=True,batch_size=32)
val_it = data_gen.flow_from_directory('D:/.../Validation/', class_mode='sparse',
                                     target_size=(IMG_SIZE, IMG_SIZE),color_mode='grayscale', shuffle=True,batch_size=32)

IMAGE_SIZE = [100, 100]

model=Sequential()
model.add(Conv2D(32,(3,3), input_shape=[*IMAGE_SIZE, 1]))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Dropout(0.5))

model.add(Conv2D(32,(3,3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Dropout(0.5))

model.add(Conv2D(32,(3,3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Dropout(0.5))

model.add(Flatten())
model.add(Dense(len(train_it.class_indices), activation='softmax'))

model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit_generator(train_it, epochs=20, validation_data=val_it )

这是我没有ImageDataGenerator（）的代码：使用OpenCV设置数据

DATADIR='D:\...\Train'
CATEGORIES = pickle.load(open("CATEGORIES.p" , "rb"))
print(len(CATEGORIES))
IMG_SIZE = 100
training_data=[]

def create_training_data():
    for category in CATEGORIES:
        path = os.path.join(DATADIR,category)
        class_num = CATEGORIES.index(category)
        for img in os.listdir(path):
            try:
                img_array = cv2.imread(os.path.join(path,img),cv2.IMREAD_GRAYSCALE)
                new_array = cv2.resize(img_array, (IMG_SIZE, IMG_SIZE))
                training_data.append([new_array, class_num])
            except:
                print(category)
                print(img)

create_training_data()

random.shuffle(training_data)

X=[]
y=[]
for features, label in training_data:
    X.append(features)
    y.append(label)

X=np.array(X).reshape(-1,IMG_SIZE, IMG_SIZE, 1)
X=X/255.0

模型设置：

model=Sequential()
model.add(Conv2D(32,(3,3), input_shape=[*IMAGE_SIZE, 1]))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Dropout(0.5))

model.add(Conv2D(32,(3,3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Dropout(0.5))

model.add(Conv2D(32,(3,3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))

model.add(Dropout(0.5))

model.add(Flatten())
model.add(Dense(len(CATEGORIES), activation='softmax'))

model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(X,y, epochs=20, batch_size=32, validation_split=0.1)

Answer 1

@acho

提及您在评论中引用的此问题的解决方案，以造福社区。

该问题的原因是输入数据未通过将每个像素值除以255进行归一化。由于以下原因，它对训练有影响：

它将像素值从整数转换为浮点型，范围为0.0-1.0，其中0.0表示0（0x00），1.0表示255（0xFF）。与整数值相比，Conv Nets在浮点值上的工作效果更好，并且通过将其标准化为0-1，可以减少计算量。
归一化将帮助您消除图像中的阴影和光引起的变形。

为什么ImageDataGenerator（）性能不佳？

1 个答案: