Question

我正在尝试从头开始编写一个函数，该函数使用具有协调下降（Gauss-Seidel）和软阈值功能的LASSO估计回归系数。

我的代码如下：

library(MASS)
set.seed(1)
n = 200
p = 200
V = matrix(0.2, p, p)
diag(V) = 1
X = as.matrix(mvrnorm(n, mu = rep(0, p), Sigma = V))
y = X[, 1] + 0.5*X[, 2] + 0.25*X[, 3] + rnorm(n)
X = scale(X)
y = scale(y)

soft_th <- function(b, lambda){
  if (b > lambda){
    return (b - lambda)
  }
  else if (b < -lambda){
    return(b + lambda)
  }
  else {
    return (0)
  }
}

myLasso <- function(X,y, lambda=0.3,tol=1e-5,maxitr=100){
  beta_old <- rep(0,p)
  beta_new <- rep(0,p)
  for(i in 1:maxitr){
    beta_old <- beta_new
    for (j in (1:ncol(X)))
      {
      X_j <- X[,j]
      y_pred <- t(X)%*%beta_old
      rho <- t(X_j)%*%(y - y_pred + beta_old[j]*X_j)
      beta_new[j] <- soft_th(rho,0.7)
    }

    l1 <- sum(abs(beta_old-beta_new))
    print(l1)
    r <-  y - t(X)%*%beta_old

    if (l1<tol){
      print('Convergence reached')
      break
  }
  }

}
myLasso(X,y)

我遇到的问题是，每次迭代之间beta_old和beta_new之间的L1范数增加（很多！）。我正在关注这篇文章中所说的：

https://stats.stackexchange.com/questions/123672/coordinate-descent-soft-thresholding-update-operator-for-lasso/351134#351134

我认为我在某种程度上没有正确执行下降更新规则。

任何帮助将不胜感激。预先感谢。

Answer 1

我正在做更多的研究，看来我没有对X矩阵进行归一化。在定义X之后添加X <-X / norm（X，type ='2'）后，问题解决了。

现在我遇到的一个新问题是，该新函数无法复制LASSO回归的glmnet实现的结果。会是什么呢？在我的实现中，使用glmnet获得的RMSE为0.6，而获得0.997。我希望有人可以指导我如何改善我的功能。

谢谢。

R中的套索回归实现有什么问题？

1 个答案: