Question

我正在训练古吉拉特语语言的光学字符识别模型。输入图像是字符图像。我上了20堂课。总训练图像为12000张（每节课600张），测试图像为3200张（每节课160张）。

如何提高准确性并减少损失？

下面是我的代码：

    classifier = Sequential()


# Convolution
classifier.add(Conv2D(32, (3, 3), input_shape = (32, 32, 3), activation = 'relu'))
classifier.add(BatchNormalization())

# Pooling
classifier.add(MaxPooling2D(pool_size = (2, 2)))

classifier.add(Conv2D(32, (3, 3), activation = 'relu'))
classifier.add(BatchNormalization())
classifier.add(MaxPooling2D(pool_size = (2, 2)))

classifier.add(Dropout(0.2))

# Adding a second convolutional layer
classifier.add(Conv2D(32, (3, 3), activation = 'relu'))
classifier.add(BatchNormalization())
classifier.add(MaxPooling2D(pool_size = (2, 2)))




# Flattening
classifier.add(Flatten())

classifier.add(Dense(units = 1024, activation = 'relu'))

classifier.add(Dense(units = 128, activation = 'relu'))
classifier.add(Dense(units = 20, activation = 'softmax'))

classifier.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'])

classifier.summary()

# Fitting the CNN to the images

from tensorflow.keras.preprocessing.image import ImageDataGenerator

train_datagen = ImageDataGenerator(
                                   shear_range=0.2,
                                   zoom_range=0.2,
                                   
                                   
                                   horizontal_flip=False)

test_datagen = ImageDataGenerator(horizontal_flip = False)

training_set = train_datagen.flow_from_directory('C:/Users/shweta/Desktop/characters/train',
                                                 target_size = (32, 32),
                                                 batch_size = 32,
                                                 class_mode = 'categorical')

test_set = test_datagen.flow_from_directory('C:/Users/shweta/Desktop/characters/test',
                                            target_size = (32, 32),
                                            batch_size = 32,
                                            class_mode = 'categorical')


classifier.fit_generator(training_set,
                        
                         epochs = 22,
                         validation_data = test_set, shuffle=True)
classifier.save('alphanumeric.mod')

输出：

Epoch 19/22
375/375 [==============================] - 34s 89ms/step - loss: 0.1800 - accuracy: 0.9414 - val_loss: 0.1945 - val_accuracy: 0.9397
Epoch 20/22
375/375 [==============================] - 34s 91ms/step - loss: 0.1729 - accuracy: 0.9445 - val_loss: 0.6013 - val_accuracy: 0.8450
Epoch 21/22
375/375 [==============================] - 34s 91ms/step - loss: 0.1798 - accuracy: 0.9420 - val_loss: 0.1817 - val_accuracy: 0.9409
Epoch 22/22
375/375 [==============================] - 35s 93ms/step - loss: 0.1802 - accuracy: 0.9398 - val_loss: 0.1757 - val_accuracy: 0.9425

Answer 1

不了解数据集的性质，很难提供过多帮助。

以下是我的一些观察结果。深度卷积神经网络通常只有一层致密的softmax层，而4层不应显着提高准确性。如果数据具有特征性，请考虑使用更多的卷积层和一个密集层。最后，在第一卷积层之前和每一层之后添加批处理归一化。也可以应用诸如贝叶斯优化之类的其他技术，但是它们的工作量大得多，可能会有一点改进。

Answer 2

您在代码中做错了一些事情。查看非常接近的训练和验证准确性，这意味着您的模型没有遭受高方差的困扰。它可能会或可能不会遭受高偏差。这取决于贝叶斯误差是什么（对于特定的任务我不知道，但是它可能比假设您拥有合理的数据要低一些）。

假设您的模型确实存在高偏差，您可以尝试增加模型的复杂性，直到开始过度拟合数据为止。

例如，您可以尝试将Conv2D图层/块替换为

classifier.add(Conv2D(32, (3, 3), padding="same"))
classifier.add(Conv2D(32, (3, 3), padding="valid"))
classifier.add(BatchNormalization())
classifier.add(ReLU())                             #keras.layers.ReLU
classifier.add(MaxPool2D((2, 2)))

classifier.add(Conv2D(64, (3, 3), padding="same"))
classifier.add(Conv2D(64, (3, 3), padding="valid"))
classifier.add(BatchNormalization())
classifier.add(ReLU())                             #keras.layers.ReLU
classifier.add(MaxPool2D((2, 2)))

classifier.add(Conv2D(128, (3, 3), padding="same"))
classifier.add(Conv2D(128, (3, 3), padding="valid"))
classifier.add(BatchNormalization())
classifier.add(ReLU())                             #keras.layers.ReLU
classifier.add(MaxPool2D((2, 2)))

这里没有什么要注意的：

随着您深入网络，图像的大小将因valid填充，跨距和/或合并而缩小。同时，您应该增加过滤器的数量，例如（32-> 64-> 128-> ...）。这不是一个硬性规则，但是它比保持相同数量的过滤器更有效-在所有卷积层中使用32个过滤器。
批处理规范化应应用于层的线性输出（激活前），而不是在当前实现时应用于激活后。因此，您应该具有z->批处理范数-> a，其中z是图层的线性输出（在您的情况下，Conv2D）是a是层的激活，因此您需要将其分为多个“层”（用Keras术语表示）。

classifier.add(Conv2D(32, (3, 3), padding="valid")) # no activation here
classifier.add(BatchNormalization())
classifier.add(ReLU())

您可能不需要顶部那么大的Dense层。这样做会增加训练时间，而无济于事（一个或两个较小的Dense层应该可以）。
在逐渐降低学习速度的同时，还应尝试更长的培训时间，这通常可以减少损失。您可以使用优化器设置为keras.optimizers.Adam(learning_rate=...)而不是仅使用字符串"adam"重新编译模型来指定学习率（以及其他优化器超参数，但默认值通常可以正常工作）。请注意，设置正确的学习率是训练神经网络时最重要的因素之一，并且会对神经网络的性能产生重大影响-不要仅仅依赖默认值。

我应该如何提高培训和验证的准确性/损失？

2 个答案: