在keras的MLP：过度拟合或不合适？

Question

我使用keras来解决回归问题。预测值必须为正且可以大于1，因此我使用ReLu作为输出层的激活函数。在训练时，我得到一个奇怪的MSE情节： MSE plot (the validation mse is less than the training mse)

我无法理解其含义，是不合适的情况还是不合适的情况，我该如何处理呢？

Answer 1

不要在输出层使用ReLu功能。一旦输入小于零，使用ReLu函数的单元就会变为死区。因此，之后不会改变。如果您正在处理回归问题，只需使用简单的线性函数作为激活函数。

Answer 2

首先，您需要知道过度拟合是训练集上的低损失函数，但是测试集上的高损失函数。其次，您需要知道MSE是否是您使用的损失函数或回归任务的评估指标。我想你可能在这里为评估指标绘制了一条曲线。您应该实际查看损失函数的曲线。最后，关于激活功能的选择，上层是非常正确的。使用线性激活函数会很好。

Answer 3

我建议您查看验证集的预测值，以及那里y标签的分布。

您可能正在预测一个常量值，但由于验证集中存在偏差，此常量值实际上会产生较低的MSE。

然后，这些都是关于你如何最终得到这样一个情节的假设。