我正在为具有34个因变量的logit模型建模数据，并且它继续抛出奇异矩阵错误，如下所示：
Traceback (most recent call last):
File "<pyshell#1116>", line 1, in <module>
test_scores = smf.Logit(m['event'], train_cols,missing='drop').fit()
File "/usr/local/lib/python2.7/site-packages/statsmodels-0.5.0-py2.7-linux-i686.egg/statsmodels/discrete/discrete_model.py", line 1186, in fit
disp=disp, callback=callback, **kwargs)
File "/usr/local/lib/python2.7/site-packages/statsmodels-0.5.0-py2.7-linux-i686.egg/statsmodels/discrete/discrete_model.py", line 164, in fit
disp=disp, callback=callback, **kwargs)
File "/usr/local/lib/python2.7/site-packages/statsmodels-0.5.0-py2.7-linux-i686.egg/statsmodels/base/model.py", line 357, in fit
hess=hess)
File "/usr/local/lib/python2.7/site-packages/statsmodels-0.5.0-py2.7-linux-i686.egg/statsmodels/base/model.py", line 405, in _fit_mle_newton
newparams = oldparams - np.dot(np.linalg.inv(H),
File "/usr/local/lib/python2.7/site-packages/numpy/linalg/linalg.py", line 445, in inv
return wrap(solve(a, identity(a.shape[0], dtype=a.dtype)))
File "/usr/local/lib/python2.7/site-packages/numpy/linalg/linalg.py", line 328, in solve
raise LinAlgError, 'Singular matrix'
LinAlgError: Singular matrix
当我对这种方法进行简化以将矩阵缩减为其独立列时
def independent_columns(A, tol = 0):#1e-05):
"""
Return an array composed of independent columns of A.
Note the answer may not be unique; this function returns one of many
possible answers.
https://stackoverflow.com/q/13312498/190597 (user1812712)
http://math.stackexchange.com/a/199132/1140 (Gerry Myerson)
http://mail.scipy.org/pipermail/numpy-discussion/2008-November/038705.html
(Anne Archibald)
>>> A = np.array([(2,4,1,3),(-1,-2,1,0),(0,0,2,2),(3,6,2,5)])
2 4 1 3
-1 -2 1 0
0 0 2 2
3 6 2 5
# try with checking the rank of matrixs
>>> independent_columns(A)
np.array([[1, 4],
[2, 5],
[3, 6]])
"""
Q, R = linalg.qr(A)
independent = np.where(np.abs(R.diagonal()) > tol)[0]
#print independent
return A[:, independent], independent
A,independent_col_indexes=independent_columns(train_cols.as_matrix(columns=None))
#train_cols will not be converted back from a df to a matrix object,so doing this explicitly
A2=pd.DataFrame(A, columns=train_cols.columns[independent_col_indexes])
test_scores = smf.Logit(m['event'],A2,missing='drop').fit()
我仍然得到LinAlgError，虽然我希望我现在可以减少矩阵等级。
另外，我看到np.linalg.matrix_rank(train_cols)返回33（即在调用independent_columns函数之前，总“x”列为34（即len(train_cols.ix[0])=34），这意味着我没有完整的秩矩阵），np.linalg.matrix_rank(A2)返回33（意味着我删除了一列，但我仍然看到LinAlgError，当我运行test_scores = smf.Logit(m['event'],A2,missing='drop').fit()时，我错过了什么？
参考上面的代码 - How to find degenerate rows/columns in a covariance matrix
我尝试通过一次引入每个变量来开始构建模型，这不会给我一个奇异的矩阵错误，但我宁愿有一个确定性的方法，让我知道，我是什么做错了如何消除这些列。
编辑（更新后发布的建议@ 下面的user333700）
1。你是对的，“A2”没有减少等级33。即。 len(A2.ix[0]) =34 - ＆gt;意味着可能的共线列没有被删除 - 我应该增加“tol”，容忍度得到A2的等级（以及其列数），如果我将上面的tol改为“1e-05”，那么我得到len(A2.ix[0]) =33，这向我建议tol> 0（严格地说）是一个指标。
在此之后，我只是做了相同的test_scores = smf.Logit(m['event'],A2,missing='drop').fit()，没有nm来获得收敛。
2。尝试'nm'方法后的错误。但奇怪的是，如果我只拍摄20,000行，我会得到结果。由于它没有显示内存错误，但“Inverting hessian failed, no bse or cov_params available” - 我假设，有多个几乎相似的记录 - 您会说什么？
m = smf.Logit(data['event_custom'].ix[0:1000000] , train_cols.ix[0:1000000],missing='drop')
test_scores=m.fit(start_params=None,method='nm',maxiter=200,full_output=1)
Warning: Maximum number of iterations has been exceeded
Warning (from warnings module):
File "/usr/local/lib/python2.7/site-packages/statsmodels-0.5.0-py2.7-linux-i686.egg/statsmodels/base/model.py", line 374
warn(warndoc, Warning)
Warning: Inverting hessian failed, no bse or cov_params available
test_scores.summary()
Traceback (most recent call last):
File "<pyshell#17>", line 1, in <module>
test_scores.summary()
File "/usr/local/lib/python2.7/site-packages/statsmodels-0.5.0-py2.7-linux-i686.egg/statsmodels/discrete/discrete_model.py", line 2396, in summary
yname_list)
File "/usr/local/lib/python2.7/site-packages/statsmodels-0.5.0-py2.7-linux-i686.egg/statsmodels/discrete/discrete_model.py", line 2253, in summary
use_t=False)
File "/usr/local/lib/python2.7/site-packages/statsmodels-0.5.0-py2.7-linux-i686.egg/statsmodels/iolib/summary.py", line 826, in add_table_params
use_t=use_t)
File "/usr/local/lib/python2.7/site-packages/statsmodels-0.5.0-py2.7-linux-i686.egg/statsmodels/iolib/summary.py", line 447, in summary_params
std_err = results.bse
File "/usr/local/lib/python2.7/site-packages/statsmodels-0.5.0-py2.7-linux-i686.egg/statsmodels/tools/decorators.py", line 95, in __get__
_cachedval = self.fget(obj)
File "/usr/local/lib/python2.7/site-packages/statsmodels-0.5.0-py2.7-linux-i686.egg/statsmodels/base/model.py", line 1037, in bse
return np.sqrt(np.diag(self.cov_params()))
File "/usr/local/lib/python2.7/site-packages/statsmodels-0.5.0-py2.7-linux-i686.egg/statsmodels/base/model.py", line 1102, in cov_params
raise ValueError('need covariance of parameters for computing '
ValueError: need covariance of parameters for computing (unnormalized) covariances
修改2：（更新后发布@ user333700的建议）
重申我想要建模的东西 - 不到总数的1％左右 用户“转换”（成功结果） - 所以我采取了平衡的样本 35（+ ve）/ 65（-ve）
我怀疑该模型并不健壮，尽管它收敛了。因此，将使用“start_params”作为来自早期迭代的参数，来自不同的数据集。 这个编辑是关于确认“start_params”可以输入结果如下 - ：
A,independent_col_indexes=independent_columns(train_cols.as_matrix(columns=None))
A2=pd.DataFrame(A, columns=train_cols.columns[independent_col_indexes])
m = smf.Logit(data['event_custom'], A2,missing='drop')
#m = smf.Logit(data['event_custom'], train_cols,missing='drop')#,method='nm').fit()#This doesnt work, so tried 'nm' which work, but used lasso, as nm did not converge.
test_scores=m.fit_regularized(start_params=None, method='l1', maxiter='defined_by_method', full_output=1, disp=1, callback=None, alpha=0, \
trim_mode='auto', auto_trim_tol=0.01, size_trim_tol=0.0001, qc_tol=0.03)
a_good_looking_previous_result.params=test_scores.params #storing the parameters of pass1 to feed into pass2
test_scores.params
bidfloor_Quartile_modified_binned_0 0.305765
connectiontype_binned_0 -0.436798
day_custom_binned_Fri -0.040269
day_custom_binned_Mon 0.138599
day_custom_binned_Sat -0.319997
day_custom_binned_Sun -0.236507
day_custom_binned_Thu -0.058922
user_agent_device_family_binned_iPad -10.793270
user_agent_device_family_binned_iPhone -8.483099
user_agent_masterclass_binned_apple 9.038889
user_agent_masterclass_binned_generic -0.760297
user_agent_masterclass_binned_samsung -0.063522
log_height_width 0.593199
log_height_width_ScreenResolution -0.520836
productivity -1.495373
games 0.706340
entertainment -1.806886
IAB24 2.531467
IAB17 0.650327
IAB14 0.414031
utilities 9.968253
IAB1 1.850786
social_networking -2.814148
IAB3 -9.230780
music 0.019584
IAB9 -0.415559
C(time_day_modified)[(6, 12]]:C(country)[AUS] -0.103003
C(time_day_modified)[(0, 6]]:C(country)[HKG] 0.769272
C(time_day_modified)[(6, 12]]:C(country)[HKG] 0.406882
C(time_day_modified)[(0, 6]]:C(country)[IDN] 0.073306
C(time_day_modified)[(6, 12]]:C(country)[IDN] -0.207568
C(time_day_modified)[(0, 6]]:C(country)[IND] 0.033370
... more params here
现在在不同的数据集（pass2，用于索引），我的模型如下 - ： 即。我读了一个新的数据帧，做了所有变量转换，然后像之前一样通过Logit进行建模。
m_pass2 = smf.Logit(data['event_custom'], A2_pass2,missing='drop')
test_scores_pass2=m_pass2.fit_regularized(start_params=a_good_looking_previous_result.params, method='l1', maxiter='defined_by_method', full_output=1, disp=1, callback=None, alpha=0, \
trim_mode='auto', auto_trim_tol=0.01, size_trim_tol=0.0001, qc_tol=0.03)
并且，可能通过从早期的传递中选择“start_params”来继续迭代。
答案 0 :(得分：6)
有几点要说：
你需要tol＆gt; 0检测接近完美的共线性，这也可能在以后的计算中引起数值问题。
检查A2的列数，以查看是否确实删除了列。
Logit需要使用exog进行一些非线性计算，因此即使设计矩阵不是非常接近完美的共线性，对数似然，导数或Hessian计算的变换变量仍可能最终与数值相符问题，如奇异的黑森州。
（当我们在浮点精度附近工作时，所有这些都是浮点问题，1e-15,1e-16。对于matrix_rank和类似linalg函数的默认阈值有时会有差异，这可能意味着在某些边缘情况下有一个函数将其标识为单数，而另一个则不是。）
包括Logit在内的离散模型的默认优化方法是一种简单的Newton方法，它在相当不错的情况下速度很快，但在条件恶劣的情况下会失败。您可以尝试其中一个其他优化器，它们将是scipy.optimize中的一个，method='nm'通常非常强大但速度慢，method='bfgs'在许多情况下运行良好但也可能遇到收敛问题。 / p>
尽管如此，即使其他优化方法之一成功，仍然需要检查结果。通常情况下，使用一种方法失败意味着可能无法很好地定义模型或估计问题。
检查是否只是错误的起始值或规格问题的一个好方法是首先运行method='nm'然后运行一个更准确的方法，如newton或{{1使用bfgs估计作为起始值，并查看它是否从良好的起始值成功。