机器学习中的Logistic回归

Question

我正在研究机器学习中“逻辑回归”的主题。我可以理解它试图最大化属于特定类标签的实例的可能性的整个概念

如果运行多次迭代，算法会找到一个权重向量，用于分隔实例，然后不断增加权重向量的大小。我不明白为什么它会尝试增加权重向量的大小

任何帮助都会非常值得赞赏！

Answer 1

我猜你的数据是线性可分的？ IIRC，在这种情况下，逻辑回归分解。我认为这是一个众所周知的问题。引自here（谷歌首次点击“逻辑回归可分数据”）：

  

...然而，当训练数据可线性分离时，会发生两件坏事：1。|θ|走向无限; 2.有无数的MLE。要看到这一点，请注意在两个类之间的间隙中的任何步长函数（带有|θ| =∞的sigmoid）是MLE

     

避免这种情况的一种方法是以零均值高斯的形式在θ上加上先验，协方差为1 /（2λ）I

Answer 2

我认为你所询问的是机器学习中的正规化，从我对它的理解这样做是为了避免过度拟合现象，即当假设几乎完全符合训练数据时，以牺牲穷人为代价测试数据的假设。

我希望这在某种程度上有所帮助。