修改

Question

我将Stata模型移植到Python，并使用相同的输入数据（可用@ https://drive.google.com/file/d/0B8PLy9yAUHvlcTI1SG5sdzdnaWc/view?usp=sharing）查看Python和Stata的线性回归的不同结果

Stata代码如下：

reg growth time*
predict ghat
predict resid, residuals

结果是（前5行）：

. list growth ghat resid

     +----------------------------------+
     |    growth       ghat       resid |
     |----------------------------------|
  1. | 2.3527029   2.252279    .1004239 |
  2. |  2.377728   2.214551     .163177 |
  3. | 2.3547957   2.177441     .177355 |
  4. | 3.0027488   2.140942    .8618064 |
  5. | 3.0249328    2.10505    .9198825 |

在Python中，代码是：

import pandas as pd
from sklearn.linear_model import LinearRegression


def linear_regression(df, dep_col, indep_cols):
  lf = LinearRegression(normalize=True)
  lf.fit(df[indep_cols.split(' ')], df[dep_col])

  return lf

df = pd.read_stata('/tmp/python.dta')
lr = linear_regression(df, 'growth', 'time time2 time3 time4 time5')

df['ghat'] = lr.predict(df['time time2 time3 time4 time5'.split(' ')])
df['resid'] = df.growth - df.ghat

df.head(5)['growth ghat resid'.split(' ')]

结果是：

     growth      ghat     resid
0  2.352703  3.026936 -0.674233
1  2.377728  2.928860 -0.551132
2  2.354796  2.833610 -0.478815
3  3.002749  2.741135  0.261614
4  3.024933  2.651381  0.373551

我也在R中尝试过，并得到了与Python相同的结果。我无法弄清楚根本原因：是因为Stata中使用的算法有点不同吗？我可以从源代码中看出sklearn使用普通的最小二乘法，但不知道Stata中的那个。

有人可以在这里提出建议吗？

----------编辑1 -----------

我尝试将Stata中的数据类型指定为double，但Stata仍然会产生与使用float相同的结果。用于生成的Stata代码如下：

gen double growth = .
foreach lag in `lags' {
    replace growth = ma_${metric}_per_`group' / l`lag'.ma_${metric}_per_`group' - 1 if nlag == `lag' & in_sample
}

gen double time = day - td(01jan2010) + 1
forvalues i = 2/5 {
    gen double time`i' = time^`i'
}

----------编辑2 -----------

由于共线性，Stata确实放弃了time变量。之前没有看到该消息，因为我们的Stata代码使quiet模型能够抑制不需要的消息。根据我的调查，这不能在Stata中禁用。因此，我似乎需要检测共线性并删除Python中的共线列。

. reg growth time*,
note: time omitted because of collinearity

      Source |       SS       df       MS              Number of obs =     381
-------------+------------------------------           F(  4,   376) =  126.10
       Model |  37.6005042     4  9.40012605           Prob > F      =  0.0000
    Residual |  28.0291465   376  .074545602           R-squared     =  0.5729
-------------+------------------------------           Adj R-squared =  0.5684
       Total |  65.6296507   380  .172709607           Root MSE      =  .27303

------------------------------------------------------------------------------
      growth |      Coef.   Std. Err.      t    P>|t|     [95% Conf. Interval]
-------------+----------------------------------------------------------------
        time |          0  (omitted)
       time2 |  -.0098885   .0009231   -10.71   0.000    -.0117037   -.0080734
       time3 |   .0000108   1.02e-06    10.59   0.000     8.77e-06    .0000128
       time4 |  -4.40e-09   4.20e-10   -10.47   0.000    -5.22e-09   -3.57e-09
       time5 |   6.37e-13   6.15e-14    10.35   0.000     5.16e-13    7.58e-13
       _cons |   3322.727   302.7027    10.98   0.000     2727.525     3917.93
------------------------------------------------------------------------------

Answer 1

预测因子是time的第一......五次幂，在1627到2007之间变化（大概是历年，不重要）。即使使用现代软件，也应该谨慎地改变时间的起源以减少数值应变，例如：使用（time - 1800）的权力。

无论如何，重做回归表明Stata将第一个预测变量作为共线。 Python和R会发生什么？这些是对数字上棘手的挑战的不同反应。

（拟合五次多项式很少具有科学价值，但这里可能不会引起关注。基于2到5次幂的拟合曲线对于这些数据来说效果不佳，这看似经济。这更有意义前5个残差都是正数，但并非所有这些都是正确的！）

Answer 2

这是一个外卡问题。在您的Stata代码中time*将匹配time2, time3...，但不会匹配time。如果Python代码更改为lr = linear_regression(df, 'growth', 'time2 time3 time4 time5')，则会产生完全相同的结果。

修改

出现Stata删除了第一个自变量。拟合可以如下可视化：

lr1 = linear_regression(df, 'growth', 'time time2 time3 time4 time5')
lr2 = linear_regression(df, 'growth', 'time2 time3 time4 time5')
pred_x1 = ((np.linspace(1620, 2000)[..., np.newaxis]**np.array([1,2,3,4,5]))*lr1.coef_).sum(1)+lr1.intercept_
pred_x2 = ((np.linspace(1620, 2000)[..., np.newaxis]**np.array([2,3,4,5]))*lr2.coef_).sum(1)+lr2.intercept_
plt.plot(np.linspace(1620, 2000), pred_x1, label='Python/R fit')
plt.plot(np.linspace(1620, 2000), pred_x2, label='Stata fit')
plt.plot(df.time, df.growth, '+', label='Data')
plt.legend(loc=0)

剩余的平方和：

In [149]:

pred1 = (df.time.values[..., np.newaxis]**np.array([1,2,3,4,5])*lr1.coef_).sum(1)+lr1.intercept_
pred2 = (df.time.values[..., np.newaxis]**np.array([2,3,4,5])*lr2.coef_).sum(1)+lr2.intercept_
print 'Python fit RSS',((pred1 - df.growth.values)**2).sum()
print 'Stata fit RSS',((pred2 - df.growth.values)**2).sum()
Python fit RSS 7.2062436549
Stata fit RSS 28.0291464826

Python（和R）和Stata

2 个答案:

修改