我正在设计用于回归问题的神经网络（100个输入-100个隐藏单位-100个输出）。我正在使用ADAM作为优化器，并使用0.3的辍学率进行正则化。
训练数据来自5个不同的科目，因此我正在使用LOSO交叉验证来评估超参数的不同组合（批大小，时期数和学习率）。
例如，考虑主题1： 我使用主题2-5中的特征训练网络（简称为X_cv_train），并使用主题1中的网络评估其性能（命名为X_cv_valid）。
问题是，对于某些对象，在执行LOSO-XV后，其折叠验证集计算出的MSE明显高于其训练集计算出的MSE。
例如，对于主题1，X_cv_train的MSE为0.009，而X_cv_valid的MSE为0.013（似乎是合理的），但对于主题3，X_cv_train的MSE为0.008，而X_cv_valid的MSE为0.04（似乎太高）。
训练集的平均MSE为0.009，而验证集的平均MSE为0.022。
哪种是正确的进行方式？