在H2O中培训RMSE高于验证RMSE

Question

我正在将H2O-DeepLearning模型用于回归问题。我观察到的是，训练RMSE高于验证RMSE。我正在使用具有默认参数的模型，该模型是两个具有200个神经元的隐藏层，并且没有l1 / l2正则化。激活是整流器。没有添加辍学。

我想知道如何调整超参数，使两个训练RMSE低于验证RMSE？

是否有参数提示？

我正在使用单独的训练，验证和测试集。训练数据有1958826个样本，验证和测试集每个都有599380个样本。

R平方值约为0.65-0.7

编辑：虽然我经历的验证RMSE低于培训的RMSE，但看来培训中的残差值低于验证的值。因此，这似乎很好。

编辑： 训练： RMSE：0.3592 偏差：0.0071

验证： RMSE：0.3403 偏差：0.0082

我正在进行分位数回归（如果有帮助的话），我有单独的训练/测试数据集，而我将测试集拆分为验证并使用h2o-split_frame-method进行测试。

Answer 1

以下是您可以尝试的一些建议。

1. 训练更多时代
2. 减小批量大小
3. 增加隐藏层中的神经元数量。

在您的回归问题中，少的时期可能是导致列车性能变差的原因。