线性回归分类器中的收敛和正则化

Question

我正在尝试使用逻辑回归为从2个点集合（类y（-1,1））绘制的数据实现二元分类器。如下所示，我们可以使用参数a来防止过度拟合。

现在我不确定，如何为a选择“好”值。 我不确定的另一件事是如何为这类问题选择一个“好的”收敛标准。

Answer 1

＆＃39; a＆＃39;

的价值

选择＆＃34; good＆＃34;事物是一种元回归：选择似乎合理的 a 的任何值。运行回归。再次尝试使用 a 值大于等于3的值。如果其中任何一个比原始值更好，请在该方向上尝试另一个因子3 - 但将其从9x舍入到10x以便于阅读。< / p>

你明白了......玩它直到你进入正确的范围。除非你真的试图优化结果，否则你可能不需要将它缩小到比3更接近的范围。

数据集分区

ML人们花了很多时间来分析最佳分裂。最佳分割在很大程度上取决于您的数据空间。作为全球启发式，使用一半或更多的训练;其余的，不应超过一半用于测试，其余用于验证。例如，50：20：30是火车可行的近似值：测试：验证。

同样，你可以稍微玩一下......除了错误率的任何 true 测试都是完全新的数据。

<强>收敛

这在很大程度上取决于最佳解决方案附近的经验误差空间的特征，以及低梯度的局部区域附近。

首先要考虑的是选择一个可能是凸的并且没有平坦区域的误差函数。第二个是对所需解决方案区域中梯度的大小有所了解（规范化数据将有助于此）;用它来帮助选择收敛半径;你也许想在这里玩3倍缩放。最后一个是使用学习率，以便将其缩放到标准化数据。

这有什么帮助？