Question

我正在努力解决以下问题。简而言之：两个不同的软件包（由Aptech和R编写的Gauss）在最大Liklihood过程中产生完全不同的Hessian矩阵。我使用相同的程序（BFGS），完全相同的数据，相同的最大似然公式（它是一个非常简单的logit模型）具有完全相同的起始值并且容易混淆，我得到相同的参数和对数的结果 - 可能性。两个程序中只有Hessian矩阵不同，因此标准误差和统计推断的估计不同。

在这个具体的例子中似乎没有太大的偏差，但是模型的每一个增加的复杂性都会增加差异，所以如果我试着估计我的最终模型，那么两个程序都会产生完全结果。

有谁知道，这两个程序在计算Hessian的方式上有何不同，可能是获得相同结果的正确方法？

编辑：在R（高斯）代码中，向量 X （ alt ）是一个自变量，由两列组成向量与第一列完全是一个，第二列是主题＆＃39;响应。向量 y （ itn ）是因变量，由一列包含主题＆＃39;响应。示例（R代码和数据集）取自http://www.polsci.ucsb.edu/faculty/glasgow/ps206/ps206.html，仅作为重现和隔离问题的示例。

我附加了两个代码（高斯和R语法）和输出。

非常感谢任何帮助。谢谢:)）

高斯：

start={ 0.95568840 , -0.20459156 };

library maxlik,pgraph;
maxset;
_max_Algorithm = 2;
_max_Diagnostic = 1;
{betaa,f,g,cov,ret} = maxlik(XMAT,0,&ll,start);
call maxprt(betaa,f,g,cov,ret);
print _max_FinalHess;

proc ll(b,XMAT);
local exb, probo, logexb, yn, logexbn, yt, ynt, logl;

    exb = EXP(alt*b);
    //print exb;
    probo = exb./(1+exb);

    logexb = ln(probo);

    yn = 1 - itn;
    logexbn = ln(1 - probo);

    yt = itn';
    ynt = yn';

    logl = (yt*logexb + ynt*logexbn);

    print(logl);

retp(logl);
endp;

R：

startv <- c(0.95568840,-0.20459156)

logit.lf <- function(beta) {

    exb <- exp(X%*%beta) 
    prob1 <- exb/(1+exb) 

    logexb <- log(prob1)

    y0 <- 1 - y
    logexb0 <- log(1 - prob1)

    yt <- t(y)
    y0t <- t(y0)

    logl <- -(yt%*%logexb + y0t%*%logexb0)

    return(logl)
}

logitmodel <- optim(startv, logit.lf, method="BFGS", control=list(trace=TRUE, REPORT=1), hessian=TRUE)
logitmodel$hessian

高斯输出：

return code =    0
normal convergence

Mean log-likelihood       -0.591820
Number of cases     1924

Covariance matrix of the parameters computed by the following method:
Inverse of computed Hessian

Parameters    Estimates     Std. err.  Est./s.e.  Prob.    Gradient
------------------------------------------------------------------
P01              2.1038        0.2857    7.363   0.0000      0.0000
P02             -0.9984        0.2365   -4.221   0.0000      0.0000

Gauss Hessian：

0.20133256       0.23932571 
0.23932571       0.29377761

R输出：

initial  value 1153.210839 
iter   2 value 1148.015749
iter   3 value 1141.420328
iter   4 value 1138.668174
iter   5 value 1138.662148
iter   5 value 1138.662137
iter   5 value 1138.662137
final  value 1138.662137 
converged

          Coeff.  Std. Err.          z       p value
[1,]  2.10379869 0.28570765  7.3634665 1.7919000e-13
[2,] -0.99837955 0.23651060 -4.2212889 2.4290942e-05

R Hessian：

          [,1]      [,2]
[1,] 387.34106 460.45379
[2,] 460.45379 565.24412

Answer 1

它们只是按不同的比例缩放。 GAUSS 数比 R 数小 1924 倍左右。

我认为 GAUSS 将数字保持在较小的范围内以保证数值稳定性。

最大似然的Hessian矩阵 - 高斯与R

1 个答案: