无论什么情况，神经网络都处于平稳状态

Question

我有约40万辆汽车样本的数据集，目标是建立一个回归器，以输出给定汽车的价格。除了一些细节之外，数据集还具有大约十二种不同的功能（汽车的品牌，型号，内饰，年份，里程，引擎大小，升，内外状况，标题类型，上市日期等），我尝试了数十种具有各种功能组合的不同NN体系结构。归根结底，排名前10位的最佳模型的表现仅略高于平均水平。除了数十种不同的模型架构外，我还进行了蛮力超参数调整，训练了大约10,000个模型。同样，它们大多处于相同的指标上。

训练集损失（〜320,000个样本）：

验证集RMSE（约80,000个样本）：

我的问题

为什么大多数（几乎所有）模型都在相同的训练损失和验证误差下达到平稳状态？这说明什么？

Answer 1

“无法训练”的神经网络可能有任何意义。也许您使用了错误的目标值？您可能并没有过拟合，但这就是您的图表所能说明的全部。您需要仔细调试，建立简单的基线等。

确保已将所有输入和输出标准化为零均值和1.0标准偏差。对照Random Forest之类的基线或简单的线性模型进行检查。

最重要的是，请阅读Andrej Karpathy的A Recipe for Training Neural Networks。对于这种情况，确实有很多建议。