Question

在使用Regsubsets包中的leaps对具有线性依赖关系的数据时，我发现coef()和summary()$which给出的结果不同。看起来，当找到线性相关性时，重新排序会改变系数的位置，而coef()会返回错误的值。

我只使用mtcars来模拟＆＃34;我对其他数据的问题。在第一个例子中，没有lin的问题。 BIC的依赖关系和最佳给定模型为mpg~wt+cyl，coef()，summary()$which都给出了相同的结果。在第二个例子中，我添加了虚拟变量，因此存在完美的多重共线性的可能性，但是这个顺序的变量（最后一列中的虚拟）不会导致问题。在更改数据集中变量顺序后的最后一个示例中，问题最终出现，coef()，summary()$which给出了不同的模型。这种方法有什么不对吗？有没有其他方法可以从regsubsets得到系数？

require("leaps") #install.packages("leaps")
###Example1
dta <- mtcars[,c("mpg","cyl","am","wt","hp") ]
bestSubset.cars <- regsubsets(mpg~., data=dta)
(best.sum <- summary(bestSubset.cars))
#
w <- which.min(best.sum$bic)
best.sum$which[w,]
#
best.sum$outmat
coef(bestSubset.cars, w)
#
###Example2
dta2 <- cbind(dta, manual=as.numeric(!dta$am))
bestSubset.cars2 <- regsubsets(mpg~., data=dta)
(best.sum2 <- summary(bestSubset.cars2))
#
w <- which.min(best.sum2$bic)
best.sum2$which[w,]
#
coef(bestSubset.cars2, w)
#
###Example3
bestSubset.cars3 <- regsubsets(mpg~., data=dta2[,c("mpg","manual","am","cyl","wt","hp")])
(best.sum3 <- summary(bestSubset.cars3))
#
w <- which.min(best.sum3$bic)
best.sum3$which[w,]
#
coef(bestSubset.cars3, w)
#
best.sum2$which
coef(bestSubset.cars2,1:4)
best.sum3$which
coef(bestSubset.cars3,1:4)

Answer 1

vars.summary.regsubsets和regsubsets的顺序不同。 regsubsets的泛型函数coef（）在一个函数中调用了这两个函数，如果您尝试强制使用in.or或使用固定顺序的公式，结果将一团糟。更改coef（）函数中的某些行可能会有所帮助。试试下面的代码，看看是否有效！

coef.regsubsets <- function (object, id, vcov = FALSE, ...) 
{
  s <- summary(object)
  invars <- s$which[id, , drop = FALSE]
  betas <- vector("list", length(id))
  for (i in 1:length(id)) {
    # added
    var.name <- names(which(invars[i, ]))
    thismodel <- which(object$xnames %in% var.name)
    names(thismodel) <- var.name
    # deleted
    #thismodel <- which(invars[i, ])
    qr <- .Fortran("REORDR", np = as.integer(object$np), 
                   nrbar = as.integer(object$nrbar), vorder = as.integer(object$vorder), 
                   d = as.double(object$d), rbar = as.double(object$rbar), 
                   thetab = as.double(object$thetab), rss = as.double(object$rss), 
                   tol = as.double(object$tol), list = as.integer(thismodel), 
                   n = as.integer(length(thismodel)), pos1 = 1L, ier = integer(1))
    beta <- .Fortran("REGCF", np = as.integer(qr$np), nrbar = as.integer(qr$nrbar), 
                     d = as.double(qr$d), rbar = as.double(qr$rbar), thetab = as.double(qr$thetab), 
                     tol = as.double(qr$tol), beta = numeric(length(thismodel)), 
                     nreq = as.integer(length(thismodel)), ier = numeric(1))$beta
    names(beta) <- object$xnames[qr$vorder[1:qr$n]] 
    reorder <- order(qr$vorder[1:qr$n])
    beta <- beta[reorder]
    if (vcov) {
      p <- length(thismodel)
      R <- diag(qr$np)
      R[row(R) > col(R)] <- qr$rbar
      R <- t(R)
      R <- sqrt(qr$d) * R
      R <- R[1:p, 1:p, drop = FALSE]
      R <- chol2inv(R)
      dimnames(R) <- list(object$xnames[qr$vorder[1:p]], 
                          object$xnames[qr$vorder[1:p]])
      V <- R * s$rss[id[i]]/(object$nn - p)
      V <- V[reorder, reorder]
      attr(beta, "vcov") <- V
    }
    betas[[i]] <- beta
  }
  if (length(id) == 1) 
    beta
  else betas
}

Answer 2

另一个适用于我的解决方案是在运行regsubsets之前随机化数据集中列（独立变量）的顺序。想法是希望在重新排序之后，高度相关的列将彼此分开，并且不会触发regsubsets算法中的重新排序行为。

对于具有线性依赖关系的模型，reqsubsets结果与coef（）不同

2 个答案: