我正在训练神经网络机器学习模型,对如何调整超参数有点困惑。
我看到培训过程如下:
我被告知验证数据也用于调整超参数。我不明白如何执行此操作,因为您使用验证数据之后您已经构建了模型并对其进行了培训。我无法更改超参数,因为模型已经构建完毕。
假设我有4个超参数,它们指定了神经网络的架构。我是否应该对每个超参数组合(4 ^ 4组合)进行整个培训,验证过程?
谢谢
答案 0 :(得分:1)
基本上是的,你必须经历整个过程。交叉验证和模型/参数选择以这种方式完成,您训练多次(不同参数),评估结果模型(通过成本,损失,准确度或适当的度量),并选择能产生最佳结果的参数。
例如,如果您在哪里训练回归模型,您可以训练10个不同的多项式模型,并使用验证数据来选择更好的模型,在您的情况下相同,但您使用不同的网络架构。