如何使用验证数据调整超参数

Question

我正在训练神经网络机器学习模型，对如何调整超参数有点困惑。

我看到培训过程如下：

• 使用一些超参数（例如隐藏层中的神经元数量）构建神经网络
• 使用培训数据更新参数
• 使用验证数据来评估模型是否过度拟合并且正在改进
• 使用测试数据评估绩效

我被告知验证数据也用于调整超参数。我不明白如何执行此操作，因为您使用验证数据之后您已经构建了模型并对其进行了培训。我无法更改超参数，因为模型已经构建完毕。

假设我有4个超参数，它们指定了神经网络的架构。我是否应该对每个超参数组合（4 ^ 4组合）进行整个培训，验证过程？

谢谢

Answer 1

基本上是的，你必须经历整个过程。交叉验证和模型/参数选择以这种方式完成，您训练多次（不同参数），评估结果模型（通过成本，损失，准确度或适当的度量），并选择能产生最佳结果的参数。

例如，如果您在哪里训练回归模型，您可以训练10个不同的多项式模型，并使用验证数据来选择更好的模型，在您的情况下相同，但您使用不同的网络架构。