在训练/验证设置中选择最佳模型：如何迭代模型

Question

在下表中，您可以看到 R2 在不同模型的训练/测试拆分中的比较表（表格回归问题）。现在，理想情况下我会选择 ideal_model 场景，因为它是最有可能在现实生活中表现最好的场景，但我在训练模型时遇到了问题，无法实现。具体来说，一旦我有了我的特征和问题设置，我通常可以用超参数修补我想要的所有东西，但一般来说，随着我降低复杂性（或处理神经网络时的一些其他技巧——比如 dropout 层等），所以减少了我的验证分数。

现在我当然担心训练集上的过度拟合会造成损害，但我也不能忽视验证步骤中的性能差异。

question：一般在这种情况下，最好走哪条路？也就是说，要尽量减少过拟合，但也要尽可能保持验证性能：切换模型？合奏路线？ （混合的结果，因为它是遭受这个问题的模型的组合）切换损失函数以使模型学习得更好？

ps：请假设，就情况而言，功能是一成不变的，没有交叉验证（当然我们会在现实生活中使用交叉验证）