使用MATLAB进行简单的二元逻辑回归

Question

我正在使用MATLAB进行逻辑回归，以解决一个简单的分类问题。我的协变量是一个介于0和1之间的连续变量，而我的分类响应是0（不正确）或1（正确）的二进制变量。

我希望运行逻辑回归来建立预测器，该预测器将输出某些输入观察的概率（例如，如上所述的连续变量）是正确的或不正确的。虽然这是一个相当简单的场景，但我在MATLAB中运行它时遇到了一些麻烦。

我的方法如下：我有一个列向量X，其中包含连续变量的值，另一个大小相等的列向量Y包含每个值的已知分类{ {1}}（例如0或1）。我使用以下代码：

X

然而，这给了我无意义的结果，[b,dev,stats] = glmfit(X,Y,'binomial','link','logit');，系数（p = 1.000）非常高（-650.5,1320.1），并且相关的标准误差值大约为1e6。

然后我尝试使用其他参数来指定二项式样本的大小：

b

这给了我更符合我预期的结果。我提取了系数，使用glm = GeneralizedLinearModel.fit(X,Y,'distr','binomial','BinomialSize',size(Y,1));创建估计值（glmval），并为拟合（Y_fit = glmval(b,[0:0.01:1],'logit');）创建了一个数组。当我使用X_fit = linspace(0,1)覆盖原始数据和模型的图时，模型的结果图基本上看起来像是＆＃39; S＆＃39;的下1/4。形状图是典型的逻辑回归图。

我的问题如下：

1）为什么我使用figure, plot(X,Y,'o',X_fit,Y_fit'-')给出了奇怪的结果？ 2）我应该如何处理我的初始问题：给定一些输入值，它的分类是正确的概率是什么？
3）如何获得模型参数的置信区间？ glmfit应该可以输入glmval的{​​{1}}输出，但我使用stats并未给出正确的结果。

任何评论和意见都非常有用，谢谢！

更新（2014年3月18日）

我发现glmfit似乎给出了合理的结果。我可以使用glmfit mnrval简单地将我的二元分类器变为名义分类器。

我可以遍历[b_fit,dev,stats] = mnrfit(X,Y+1);以获得各种Y+1概率值，其中[pihat,lower,upper] = mnrval(b_fit,loopVal(ii),stats);或某个适当的输入范围和`ii = 1：length（loopVal）＆＃39;。

pihat参数具有很大的相关系数（0.9973），但loopVal = linspace(0,1)的p值为0.0847和0.0845，我不太清楚如何解释。有什么想法吗？另外，为什么stats会在我的示例中使用b_fit？我应该注意到，使用mrnfit时系数的p值都是glmfit，系数估计值也大不相同。

最后，如何解释GeneralizedLinearModel.fit函数的p<<0.001输出？ MATLAB文档指出它是解决方案向量中拟合的偏差。偏差是残差平方和的推广。＆＃34;这是一个独立的值，还是仅与其他模型的dev值进行比较？

Answer 1

听起来您的数据可能是线性可分的。简而言之，这意味着由于您的输入数据是一维的，因此x的某些值使x < xDiv的所有值都属于一个类（比如y = 0）并且所有值都是x > xDiv y = 1属于另一个类（X）。

如果您的数据是二维的，这意味着您可以在二维空间y = 0中绘制一条线，以便特定类的所有实例都位于该行的一侧。

这对于逻辑回归（LR）来说是个坏消息，因为LR并不是真正意味着处理数据可线性分离的问题。

Logistic回归试图拟合以下形式的函数：

当分母中指数内的表达式为负无穷大或无穷大时，此值仅返回y = 1或t的值。

现在，因为您的数据是线性可分的，并且Matlab的LR函数试图找到适合数据的最大似然值，您将获得极端权重值。

这不一定是一个解决方案，但请尝试仅在您的一个数据点上翻转标签（因此对于某些索引y(t) == 0 y(t) = 1设置{{1}}）。这将导致您的数据不再是线性可分的，并且学习的权重值将被显着拖得更接近于零。