我正在使用R {fExtremes}来查找我的数据(矢量)的GEV分布的最佳参数。但得到以下错误消息
solve.default中的错误(适合$ hessian):Lapack例程dgesv:系统完全是单数:U [1,1] = 0
我追溯到适合$ hessian,发现我的粗体矩阵是一个sigular矩阵,所有元素都是0。 gevFit()的源代码(https://github.com/cran/fExtremes/blob/master/R/GevFit.R)显示fit $ hessian由optim()计算。输出参数与初始参数完全相同。我想知道导致这个问题的数据有什么问题?我在这里复制了我的代码
> min(sample);
[1] 5.240909
> max(sample)
[1] 175.8677
> length(sample)
[1] 6789
> mean(sample)
[1] 78.04107
>para<-gevFit(sample, type = "mle")
Error in solve.default(fit$hessian) :
Lapack routine dgesv: system is exactly singular: U[1,1] = 0
fit = optim(theta, .gumLLH, hessian = TRUE, ..., tmp = data)
> fit
$par
xi -0.3129225
mu 72.5542497
beta 16.4450897
$value
[1] 1e+06
$counts
function gradient
4 NA
$convergence
[1] 0
$message
NULL
$hessian
xi mu beta
xi 0 0 0
mu 0 0 0
beta 0 0 0
我在google docs上更新了我的数据集: https://docs.google.com/spreadsheets/d/1IRRpjmdrrJPhNmfiLism_P0efV_Ot4HlEsa6kwMnljc/edit?usp=sharing
答案 0 :(得分:0)
这将是一个很长的故事,可能更适合https://stats.stackexchange.com/。
======第1部分 - 问题======
这是产生错误的序列:
library(fExtremes)
samp <- read.csv("optimdata.csv")[ ,2]
## does not converge
para <- gevFit(samp, type = "mle")
使用optim()
和朋友时,我们面临着收敛不足的典型原因:优化的起始值不足。
要查看出现了什么问题,让我们使用PWM估算器(http://arxiv.org/abs/1310.3222);这包括一个解析公式,因此它不会产生收敛问题,因为它没有使用optim()
:
para <- gevFit(samp, type = "pwm")
fitpwm<- attr(para, "fit")
fitpwm$par.ests
估计的尾部参数xi
是负的,对应于有界的上尾;事实上,拟合分布比样本数据显示更多的“上尾有界”,正如你可以从右边的分位数 - 分位数图的“平整”看到的那样:
qqgevplot <- function(samp, params){
probs <- seq(0.1,0.99,by=0.01)
qqempir <- quantile(samp, probs)
qqtheor <- qgev(probs, xi=params["xi"], mu=params["mu"], beta=params["beta"])
rang <- range(qqempir,qqtheor)
plot(qqempir, qqtheor, xlim=rang, ylim=rang,
xlab="empirical", ylab="theoretical",
main="Quantile-quantile plot")
abline(a=0,b=1, col=2)
}
qqgevplot(samp, fitpwm$par.ests)
对于xi<0.5
,MLE估算器不是常规的(http://arxiv.org/abs/1301.5611):PWM估算的xi
的-0.46值非常接近于此值。现在,gevFit()
内部使用PWM估计值作为optim()
的起始值:如果打印出函数gevFit()
的代码,可以看到这一点:
print(gevFit)
print(.gevFit)
print(.gevmleFit)
optim的起始值是theta
,由PWM获得。对于手头的具体数据,这个起始值是不够的,因为它会导致optim()
的不收敛。
======第2部分 - 解决方案? ==
解决方案1是使用上述para <- gevFit(samp, type = "pwm")
。如果您想使用ML,则必须为optim()
指定良好的起始值。不幸的是,fExtremes
包不容易这样做。然后,您可以重新定义自己的.gevmleFit
版本以包含这些版本,例如
.gevmleFit <- function (data, block = NA, start.param, ...)
{
data = as.numeric(data)
n = length(data)
if(missing(start.param)){
theta = .gevpwmFit(data)$par.ests
}else{
theta = start.param
}
fit = optim(theta, .gevLLH, hessian = TRUE, ..., tmp = data)
if (fit$convergence)
warning("optimization may not have succeeded")
par.ests = fit$par
varcov = solve(fit$hessian)
par.ses = sqrt(diag(varcov))
ans = list(n = n, data = data, par.ests = par.ests, par.ses = par.ses,
varcov = varcov, converged = fit$convergence, nllh.final = fit$value)
class(ans) = "gev"
ans
}
## diverges, just as above
.gevmleFit(samp)
## diverges, just as above
startp <- fitpwm$par.ests
.gevmleFit(samp, start.param=startp)
## converges
startp <- structure(c(-0.1, 1, 1), names=names(fitpwm$par.ests))
.gevmleFit(samp, start.param=startp)$par.ests
现在检查一下:PWM估计的beta
是0.1245;通过将其改为微量,MLE可以收敛:
startp <- fitpwm$par.ests
startp["beta"]
startp["beta"] <- 0.13
.gevmleFit(samp, start.param=startp)$par.ests
这有希望清楚地表明,盲目地optim()
是有效的,直到它没有,然后可能会变成一个非常微妙的努力。因此,在此处留下此回复可能很有用,而不是迁移到CrossValidated。