Question

我正在尝试诊断在训练模型时导致低精度的原因。在这一点上，我只是希望能够达到高训练精度（我可以担心以后测试准确性/过度拟合问题）。如何根据训练准确度调整模型以过度指数？我想这样做是为了确保我在预处理步骤中没有犯任何错误（改组，拆分，规范化等）。

#PARAMS
dropout_prob = 0.2
activation_function = 'relu'
loss_function = 'categorical_crossentropy'
verbose_level = 1
convolutional_batches = 32
convolutional_epochs = 5
inp_shape = X_train.shape[1:]
num_classes = 3


def train_convolutional_neural():
    y_train_cat = np_utils.to_categorical(y_train, 3) 
    y_test_cat = np_utils.to_categorical(y_test, 3)

    model = Sequential()
    model.add(Conv2D(filters=16, kernel_size=(3, 3), input_shape=inp_shape))
    model.add(Conv2D(filters=32, kernel_size=(3, 3)))
    model.add(MaxPooling2D(pool_size = (2,2)))
    model.add(Dropout(rate=dropout_prob))
    model.add(Flatten())
    model.add(Dense(64,activation=activation_function))
    model.add(Dense(num_classes,activation='softmax'))
    model.summary()
    model.compile(loss=loss_function, optimizer="adam", metrics=['accuracy'])
    history = model.fit(X_train, y_train_cat, batch_size=convolutional_batches, epochs = convolutional_epochs, verbose = verbose_level, validation_data=(X_test, y_test_cat))
    model.save('./models/convolutional_model.h5')

Answer 1

您需要删除Dropout图层。这是一个故意过度拟合的小清单：

删除所有正则化（Dropout，L1和L2正则化）
确保设置较慢的学习率（Adam是自适应的，所以在你的情况下很好）
您可能不希望改变训练样本（例如，所有前100个样本都是A类，接下来的100个是B类，最后100个是C类）。更新：正如 petezurich 在下面的答案中指出的那样，应该谨慎考虑，因为它可能导致根本没有培训效果。

现在，如果您轻松地对过度拟合进行建模，那么它就是强模型的良好信号，能够表示数据。否则，您可能会考虑更深/更宽的模型，或者您应该仔细查看数据并提出问题：＆＃34;是否真的有任何模式？这是可训练的吗？＆＃34;。

Answer 2

除了其他有效答案之外 - 一种非常简单的过度拟合方法是仅使用一小部分数据。例如。只有1或2个样本。

另请参阅此非常有用的帖子，了解您可以检查以确保模型正常运行的所有内容：@Aratz's solution

我怎样才能在Keras中故意过度卷积神经网络以确保模型正常工作？

2 个答案: