多类分类的CNN模型过拟合

Question

我正在尝试使用GloVe嵌入来训练基于this article（也是rnn，具有this issue）的cnn模型。数据集是带有标签的数据：带有标签（讨厌，令人反感或两者都不带）的文本（推文）。

问题在于模型在训练集上表现良好，但在验证集上表现不佳。

这是模型：

kernel_size = 2
filters = 256
pool_size = 2
gru_node = 64
model = Sequential()
model.add(Embedding(len(word_index) + 1,
                            EMBEDDING_DIM,
                            weights=[embedding_matrix],
                            input_length=MAX_SEQUENCE_LENGTH,
                            trainable=True))
model.add(Dropout(0.25))
model.add(Conv1D(filters, kernel_size, activation='relu'))
model.add(MaxPooling1D(pool_size=pool_size))
model.add(Conv1D(filters, kernel_size, activation='softmax'))
model.add(MaxPooling1D(pool_size=pool_size))
model.add(LSTM(gru_node, return_sequences=True, recurrent_dropout=0.2))
model.add(LSTM(gru_node, return_sequences=True, recurrent_dropout=0.2))
model.add(LSTM(gru_node, return_sequences=True, recurrent_dropout=0.2))
model.add(LSTM(gru_node, recurrent_dropout=0.2))
model.add(Dense(1024,activation='relu'))
model.add(Dense(nclasses))
model.add(Activation('softmax'))

model.compile(loss='sparse_categorical_crossentropy',
              optimizer='adam',
              metrics=['accuracy'])

拟合模型：

X = df.tweet
y = df['classifi']    # classes 0,1,2

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2, shuffle=False)
X_train_Glove,X_test_Glove, word_index,embeddings_index = loadData_Tokenizer(X_train,X_test)

model_RCNN = Build_Model_RCNN_Text(word_index,embeddings_index, 20)

model_RCNN.fit(X_train_Glove, y_train,validation_data=(X_test_Glove, y_test),
                              epochs=15,batch_size=128,verbose=2)

predicted = model_RCNN.predict(X_test_Glove)

predicted = np.argmax(predicted, axis=1)
print(metrics.classification_report(y_test, predicted))

这就是分布的样子（0：讨厌，1：进攻，2：都不）

模型摘要

结果：

1. 分类报告

这是正确的方法还是我在这里遗漏了一些东西

Answer 1

通常来说，您可以解决过度拟合的两个方面：

1. 改善数据

   • 更多独特数据
   • 过采样（以平衡数据）

2. 限制网络结构

   • 退出（您已经实现了）
   • 较少的参数（您可能希望以较小的网络作为基准）
   • 正则化（例如L1和L2）

我建议您尝试使用明显更少的参数（因为这很快）和过采样（因为您的数据似乎不正确）。

此外，您还可以尝试超参数拟合。与选择最佳网络相比，使用不同的参数构建大量网络。

注意：如果您要进行超参数拟合，请确保有一个额外的验证集，因为这样可以轻松地使测试集过拟合。

侧面说明：有时在对NN进行故障诊断时，将优化器设置为基本的随机梯度下降很有帮助。它减慢了训练速度，但使进度更加清晰。

祝你好运！