逻辑回归大边际分类器？

Question

据我了解SVM中的大边际效应：

例如，让我们看看这张图片：

在SVM优化目标中，通过正则化项，我们试图找到一组参数，其中（参数矢量）theta的范数很小。因此，我们必须找到小的向量theta，并且在该向量上的正例（p）的投影大（以补偿内积的小的θ向量）。同时，大p给我们大余量。在这张图片中，我们找到了理想的theta，以及它的大p（和大边距）：

我的问题：

为什么逻辑回归不是大边际分类器？在LR中，我们以相同的方式最小化正则化项中的Theta向量。 也许我不明白，如果是这样的话 - 纠正我。

我使用了Coursera ml课程中的图像和理论。

Answer 1

Logistic回归是一个很大的保证金损失。 Lecun在他的一篇或多篇关于基于能量的学习的论文中提到了这一点。

要看LR确实会产生一个余量，更容易看出softmax损失（相当于LR）。

softmax损失中有两个术语：L(z)=z_{true} - log(\sum_i \exp(z_i))

这意味着示例与其真实决策边界的距离需要超过所有决策边界的距离的对数总和。

因为softmax函数是概率分布，log softmax可以是最大的0，所以log softmax返回接近0的负值（即惩罚），因为softmax函数下真实类的概率接近1。