Question

尾气程序包中的gelman.diag()函数在计算多元潜在标度缩减因子（MPSRF）时引发错误。

> load("short_mcmc_list.rda")
> niter(short.mcmc.list)
[1] 100
> nvar(short.mcmc.list)
[1] 200
> nchain(short.mcmc.list)
[1] 2
> 
> coda::gelman.diag(
    short.mcmc.list, 
    autoburnin = FALSE,
    multivariate = TRUE
)

chol.default（W）中的错误： 199号命令的未成年人不是肯定的

此错误是什么意思？

此问题先前发布在R coda "The leading minor of order 3 is not positive definite"。主要结论是：“结论：获得Gelman-Rubin诊断的多元估计值似乎有些问题。设置多元= FALSE可以解决问题，并为每个变量输出一个单一的变量估计值。”它已经6岁了，所以答案可能已过时。

Answer 1

在gelman.diag()中，MPSRF的计算公式为：

> coda::gelman.diag <-
function (x, confidence = 0.95, transform = FALSE, autoburnin = FALSE,
        multivariate = TRUE)
{
#A lot of code ...

Niter <- niter(x)
Nchain <- nchain(x)
Nvar <- nvar(x)
#W is the variance matrix of the chain
S2 <- array(sapply(x, var, simplify = TRUE), dim = c(Nvar,
                                                   Nvar, Nchain))
W <- apply(S2, c(1, 2), mean)
#A lot of code ...

if (Nvar > 1 && multivariate) {
CW <- chol(W)
#This is max eigenvalue from W^-1*B.
emax <- eigen(
  backsolve(CW, t(backsolve(CW, B, transpose = TRUE)), transpose = TRUE),
  symmetric = TRUE, only.values = TRUE)$values[1]
}

我通过删除引起错误的Cholesky分解，并将W和B添加到要返回的列表中来编辑gelman.diag()。这使我明白了为什么W无法进行Cholesky分解。

my.gelman.diag <- function(x,
                           confidence = 0.95,
                           transform = FALSE, 
                           autoburnin = FALSE,
                           multivariate = TRUE
){
  x <- as.mcmc.list(x)
  if (nchain(x) < 2)
    stop("You need at least two chains")
  if (autoburnin && start(x) < end(x)/2)
    x <- window(x, start = end(x)/2 + 1)
  Niter <- niter(x)
  Nchain <- nchain(x)
  Nvar <- nvar(x)
  xnames <- varnames(x)
  if (transform)
    x <- gelman.transform(x)
  x <- lapply(x, as.matrix)
  S2 <- array(sapply(x, var, simplify = TRUE),
              dim = c(Nvar, Nvar, Nchain)
  )
  W <- apply(S2, c(1, 2), mean)
  xbar <- matrix(sapply(x, apply, 2, mean, simplify = TRUE),
                 nrow = Nvar, ncol = Nchain)
  B <- Niter * var(t(xbar))
  if (Nvar > 1 && multivariate) {  #ph-edits 
    # CW <- chol(W)
    #    #This is W^-1*B.
    # emax <- eigen(
    #  backsolve(CW, t(backsolve(CW, B, transpose = TRUE)), transpose = TRUE),
    # symmetric = TRUE, only.values = TRUE)$values[1]
    emax <- 1
    mpsrf <- sqrt((1 - 1/Niter) + (1 + 1/Nvar) * emax/Niter)
  }  else {
    mpsrf <- NULL
  }

  w <- diag(W)
  b <- diag(B)
  s2 <- matrix(apply(S2, 3, diag), nrow = Nvar, ncol = Nchain)
  muhat <- apply(xbar, 1, mean)
  var.w <- apply(s2, 1, var)/Nchain
  var.b <- (2 * b^2)/(Nchain - 1)
  cov.wb <- (Niter/Nchain) * diag(var(t(s2), t(xbar^2)) - 2 *
                                    muhat * var(t(s2), t(xbar)))
  V <- (Niter - 1) * w/Niter + (1 + 1/Nchain) * b/Niter
  var.V <- ((Niter - 1)^2 * var.w + (1 + 1/Nchain)^2 * var.b +
              2 * (Niter - 1) * (1 + 1/Nchain) * cov.wb)/Niter^2
  df.V <- (2 * V^2)/var.V
  df.adj <- (df.V + 3)/(df.V + 1)
  B.df <- Nchain - 1
  W.df <- (2 * w^2)/var.w
  R2.fixed <- (Niter - 1)/Niter
  R2.random <- (1 + 1/Nchain) * (1/Niter) * (b/w)
  R2.estimate <- R2.fixed + R2.random
  R2.upper <- R2.fixed + qf((1 + confidence)/2, B.df, W.df) *
    R2.random
  psrf <- cbind(sqrt(df.adj * R2.estimate), sqrt(df.adj * R2.upper))
  dimnames(psrf) <- list(xnames, c("Point est.", "Upper C.I."))
  out <- list(psrf = psrf, mpsrf = mpsrf, B = B, W = W) #added ph
  class(out) <- "gelman.diag"
  return( out )
}

将my.gelman.diag()应用于short.mcmc.list：

> l <- my.gelman.diag(short.mcmc.list, autoburnin = FALSE, multivariate = TRUE)
> W <- l$W  #Within-sequence variance
> B <- l$B  #Between-sequence variance

对W的研究表明W确实是正定的，但其特征值接近0，因此失败。

> evals.W <- eigen(W, only.values = TRUE)$values
> min(evals.W)
[1] 1.980596e-16

实际上，增加容差表明W确实是正定的。

> matrixNormal::is.positive.definite(W, tol = 1e-18)
[1] TRUE

所以实际上，W接近线性相关性...

> eval <- eigen(solve(W)%*%B, only.values = TRUE)$values[1]

solve.default（W）中的错误：系统在计算上是奇异的：倒数条件数= 7.10718e-21

因此，实际上，删除W的最后两列使其成为线性独立/正定。这表明链中存在相关的参数，并且可以减少参数的数量。

> evals.W[198]
[1] 9.579362e-05
> matrixNormal::is.positive.definite(W[1:198, 1:198])
[1] TRUE
> chol.W <- chol(W)

W是马尔可夫链的内方差，衡量状态中每个值与平均值之间的差异。如果W接近奇异，则方差很小，因此链变化不大。这是一条缓慢移动的链条。用户应使用轨迹图进行调查，并可能减少参数数量。链条也可能太短；如果链较长，则链中的值可能会足够不同，以使W线性独立。

为避免函数崩溃，我建议使用purrr::possibly()代替丢失的值，而不要引发过时的错误。

>  pgd <- purrr::possibly(coda::gelman.diag, list(mpsrf = NA), quiet = FALSE)
> pgd(short.mcmc.list, autoburnin = FALSE, multivariate = TRUE)
Error: the leading minor of order 199 is not positive definite
[1] NA

有关更多信息，请参见Brooks and Gelman，1992。

参考： Gelman，A和Rubin，DB（1992年），《使用多个序列进行迭代仿真的推论》，《统计科学》，第7卷，第457-511页。

coda gelman.diag（）：“ chol.default（W）中的错误：nn顺序的前导未成年人不是肯定的”

1 个答案: