在超参数调整期间，简单参数是否也会更改

Question

在超参数调整过程中，参数（在模型训练过程中已学习的权重）是否也已优化或是否固定，并且仅找到了超参数的最佳值？请解释。

Answer 1

短裤是否，它们不是固定的。

因为，超参数直接影响您的简单参数。因此，对于神经网络而言，要使用的任何隐藏层都不是超参数，而每层中的权重和偏差可以称为简单参数。当然，当网络（超参数）本身的层数可变时，您不能使各个层的权重保持恒定。同样，在线性回归中，您的正则化超参数会直接影响所学习的权重。

因此，调整超参数的目标是获得一个值，该值可导致这些简单参数的最佳组合。这些简单参数是您真正关心的参数，它们是最终预测/部署中要使用的参数。因此，在保持超参数不变的情况下调整超参数是没有意义的。