关于lm中逐步变量选择的失败

Question

我首先使用所有变量建立了一个回归模型。

full.model<-lm(y~as.matrix(x))

然后我尝试使用逐步变量选择

reduce.model<-step(full.model,direction="backward")

运行结果显示如下，看起来没有做任何事情。这种情况有什么问题。我还在下面列出了full.model的详细信息。

> reduce.model<-step(full.model,direction="backward")
   Start:  AIC=-121.19
   y ~ as.matrix(x)

                 Df   Sum of Sq        RSS     AIC
  <none>                               1.1 -121.19
   - as.matrix(x) 37     21550         21550.7  310.36

Answer 1

您错误地使用了lm(...)。通常，通过引用数据框中的列来构建模型公式总是更好。试试这种方式：

# example data - you have this already...
set.seed(1)            # for reproducible example
x <- sample(1:500,500) # need this so predictors are not perfectly correlated.
x <- matrix(x,nc=5)    # 100 rows, 5 cols
y <- 1+ 3*x[,1]+2*x[,2]+4*x[,5]+rnorm(100)  # y depends on variables 1, 2, 5 only

# you start here...
df <- data.frame(y,as.matrix(x))
full.model <- lm(y ~ ., df)                 # include all predictors
step(full.model,direction="backward")
# Start:  AIC=3.32
# y ~ X1 + X2 + X3 + X4 + X5
# ...
#
# Step:  AIC=1.38
# y ~ X1 + X2 + X3 + X5
# ...
# 
# Step:  AIC=-0.53
# y ~ X1 + X2 + X5
# 
#        Df Sum of Sq    RSS    AIC
# <none>                  92  -0.53
# - X2    1     53912  54004 635.16
# - X1    1    110870 110961 707.18
# - X5    1    235260 235352 782.37
#
# Call:
# lm(formula = y ~ X1 + X2 + X5, data = df)
# 
# Coefficients:
# (Intercept)           X1           X2           X5  
#       1.367        2.998        2.006        3.997