我的Keras模型

Question

我是深度学习和Keras的新手。我创建了一个在ASL（美国手语）数据集上进行训练的模型，其中包含近80,000个训练图像和1500个测试图像。我还追加了更多的类，即。手势编号从0-9。因此，我总共有39个班级（0-9和A-Z）。我的任务是训练该数据集并将其用于预测。我的预测输入将是来自摄像头的帧，我将在该帧上显示手势。

我的Keras模型

classifier = Sequential()

classifier.add(Conv2D(32, (3, 3), input_shape = (100, 100, 3), activation = 'relu'))
classifier.add(MaxPooling2D(pool_size = (2, 2)))

classifier.add(Conv2D(32, (3, 3), activation = 'relu'))
classifier.add(MaxPooling2D(pool_size = (2, 2)))

classifier.add(Flatten())

classifier.add(Dense(units = 128, activation = 'relu'))
classifier.add(Dense(units = 39, activation = 'softmax'))

classifier.compile(optimizer = 'adam', loss = 'binary_crossentropy', metrics = ['accuracy'])



from keras.preprocessing.image import ImageDataGenerator

train_datagen = ImageDataGenerator(rescale = 1./255,
                                   shear_range = 0.2,
                                   zoom_range = 0.2,
                                   horizontal_flip = True)

test_datagen = ImageDataGenerator(rescale = 1./255)

training_set = train_datagen.flow_from_directory('train',
                                                 target_size = (100,100),
                                                 batch_size = 128,
                                                 class_mode = 'categorical')

test_set = test_datagen.flow_from_directory('test',
                                            target_size = (100, 100),
                                            batch_size = 128,
                                            class_mode = 'categorical')

classifier.fit_generator(training_set,
                         steps_per_epoch = 88534,
                         epochs = 10,
                         validation_data = test_set,
                         validation_steps = 1418)

ASL数据集图像的大小为200x200，数字符号数据集的大小为64x64。在经过5次epocs验证准确度达到96％后，当我在视频上运行它时，仍然无法获得良好的预测。

用于视频帧的python程序

classifier = load_model('asl_original.h5')
classifier.compile(loss='binary_crossentropy',optimizer='rmsprop',metrics=['accuracy'])

cam = cv2.VideoCapture(0)

while(1):
    try:
        ret, frame = cam.read()
        frame = cv2.flip(frame,1)
        roi = frame[100:400,200:500]
        cv2.rectangle(frame,(200,100),(500,400),(0,255,0),2) 
        cv2.imshow('frame',frame) 
        cv2.imshow('roi',roi)
        img = cv2.resize(roi,(100,100))
        img = np.reshape(img,[1,100,100,3]) 
        classes = classifier.predict_classes(img)
        print(classes)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break


    except Exception:
        traceback.print_exc()
        pass

我不明白为什么即使在如此大的数据集上进行训练后，我仍然无法获得准确的预测。我需要进行哪些更改才能对所有39个班级进行准确的预测。

链接到数据集。 ASL DATASET和Hand sign for numbers

Answer 1

在classifier.compile中，使用loss ='binary_crossentropy'，该损耗仅在标签为二进制（仅两个类）的情况下使用。进行多类分类时，必须根据标签的编号和类型（即'sparse_categorical_crossentropy'）使用适当的损失函数。

尝试阅读this有用的博客文章，其中详细介绍了每种损失函数。

深度学习模型无法准确预测，Keras？

我的Keras模型

用于视频帧的python程序

1 个答案: