选择正则化参数

Question

应用正则化逻辑回归时： 我将数据分成训练，交叉验证和测试集。 我想应用正则化并正在选择正则化参数lambda。 为此，我尝试不同的lambda值，并在训练集上拟合我的假设的参数theta。然后，我选择lambda的值，它给出了验证集上最低成本函数。 为此，我是否应该使用惩罚条件计算验证集的成本函数？

Answer 1

这混淆了两件事。您最小化成本函数（使用正则化项）来选择模型参数（对于给定的超参数，如lambda）。但是参数允许您对验证集中的点进行分类。并且您可以衡量分类与基本事实的匹配程度。你选择lambda来给出最正确的答案。 lambda的成本函数在那个阶段没有任何作用。

Answer 2

您可以绘制学习曲线，将训练和验证误差收敛到较小的值，并选择与最小误差对应的参数作为正则化参数。

正则化参数选项与成本函数值无关。