Question

我正在尝试在着名的虹膜数据集上使用statsmodels的MNLogit函数。我得到：“当前功能值：纳”当我尝试适合模型时。这是我正在使用的代码：

import statsmodels.api as st
iris = st.datasets.get_rdataset('iris','datasets')
y = iris.data.Species
x = iris.data.ix[:, 0:4]
x = st.add_constant(x, prepend = False)
mdl = st.MNLogit(y, x)
mdl_fit = mdl.fit()
print (mdl_fit.summary())

Answer 1

在虹膜的例子中，我们可以完美地预测Setosa。这导致Logit和MNLogit中（部分）完美分离的问题。

完美分离有利于预测，但logit的参数变为无穷大。在这种情况下，我得到一个奇异矩阵错误，而不是Nans与相对较新版本的statsmodels master（在Windows上）。

离散模型的默认优化器是牛顿，当Hessian变为奇异时，它会失败。其他不使用Hessian信息的优化器能够完成优化。例如，使用'bfgs'，我得到

>>> mdl_fit = mdl.fit(method='bfgs')
Warning: Maximum number of iterations has been exceeded.
         Current function value: 0.057112
         Iterations: 35
         Function evaluations: 37
         Gradient evaluations: 37
e:\josef\eclipsegworkspace\statsmodels-git\statsmodels-all-new2_py27\statsmodels\statsmodels\base\model.py:471: ConvergenceWarning: Maximum Likelihood optimization failed to converge. Check mle_retvals
  "Check mle_retvals", ConvergenceWarning)

Setosa的预测概率基本上是（1,0,0），即它们是完美预测的

>>> fitted = mdl_fit.predict()
>>> fitted[y=='setosa'].min(0)
array([  9.99497636e-01,   2.07389867e-11,   1.71740822e-38])
>>> fitted[y=='setosa'].max(0)
array([  1.00000000e+00,   5.02363854e-04,   1.05778255e-20])

然而，由于完全分离，参数未被识别，值主要由优化器的停止标准决定，标准误差非常大。

>>> print(mdl_fit.summary())
                          MNLogit Regression Results                          
==============================================================================
Dep. Variable:                Species   No. Observations:                  150
Model:                        MNLogit   Df Residuals:                      140
Method:                           MLE   Df Model:                            8
Date:                Mon, 20 Jul 2015   Pseudo R-squ.:                  0.9480
Time:                        04:08:04   Log-Likelihood:                -8.5668
converged:                      False   LL-Null:                       -164.79
                                        LLR p-value:                 9.200e-63
=====================================================================================
Species=versicolor       coef    std err          z      P>|z|      [95.0% Conf. Int.]
--------------------------------------------------------------------------------------
Sepal.Length          -1.4959    444.817     -0.003      0.997      -873.321   870.330
Sepal.Width           -8.0560    282.766     -0.028      0.977      -562.267   546.155
Petal.Length          11.9301    374.116      0.032      0.975      -721.323   745.184
Petal.Width            1.7039    759.366      0.002      0.998     -1486.627  1490.035
const                  1.6444   1550.515      0.001      0.999     -3037.309  3040.597
--------------------------------------------------------------------------------------
Species=virginica       coef    std err          z      P>|z|      [95.0% Conf. Int.]
-------------------------------------------------------------------------------------
Sepal.Length         -8.0348    444.835     -0.018      0.986      -879.896   863.827
Sepal.Width         -15.8195    282.793     -0.056      0.955      -570.083   538.444
Petal.Length         22.1797    374.155      0.059      0.953      -711.152   755.511
Petal.Width          14.0603    759.384      0.019      0.985     -1474.304  1502.425
const                -6.5053   1550.533     -0.004      0.997     -3045.494  3032.483
=====================================================================================

关于statsmodels中的实现

Logit专门检查完美分离并引发异常，可以选择将其削弱为警告。对于像MNLogit这样的其他模型，还没有明确检查完美分离，主要是因为缺乏良好的测试用例和易于识别的一般条件。（像https://github.com/statsmodels/statsmodels/issues/516这样的问题仍然存在）

我的策略一般：

当收敛失败时，请尝试不同的优化器和不同的起始值（start_params）。如果某些优化器成功，那么它可能是一个困难的优化问题，无论是目标函数的曲率，还是缩放的解释变量或类似的。有用的检查是使用强大优化器的参数估计值，例如nm或powell作为更严格的优化器的起始值，例如newton或bfgs。

如果在一些优化器收敛后结果仍然不好，则可能是Logit，Probit和其他几个模型中的完美分离或奇异或近似单一设计矩阵等数据的固有问题。在这种情况下，必须更改模型。可以通过互联网搜索找到完美分离的建议。

MNLogit在statsmodel中返回nan

1 个答案: