Question

对于我正在参加的课程，我必须执行逻辑逐步回归以将特征的预测变量的数量减少到固定数量并估计结果模型的准确性。

我一直在尝试使用 leaps 包中的 regsubsets()，但无法获得其准确性。
现在我正在尝试使用 caret，因为我可以将它的指标设置为“准确度”，但是当我在 method = "glmStepAIC" 函数中使用 train() 时我无法修复预测变量的数量，因为它没有调谐参数。

step.model <- train(Outcome ~ .,
                    data = myDataset,
                    method = "glmStepAIC", 
                    metric = "Accuracy",
                    trControl = trainControl(method = "cv", number = 10),
                    trace = FALSE)

我发现了这个问题，但答案和链接似乎对我不起作用。 stepwise regression using caret in R

如果没有插入符号，实现具有固定预测变量数量的简化模型的最佳方法是什么？

Answer 1

您可以使用 glmulti 包指定要在逐步选择中保留的变量数量。在此示例中，列 a 到 g 与结果相关，但列 A 到 E 不相关。在 glmulti 中，confsetsize 是要选择的模型数量，并将 minsize 设置为 maxsize，以便保留的变量数量。

library(MASS)
library(dplyr)

set.seed(100)

dat=data.frame(a=rnorm(10000))
for (i in 2:12) {
  dat[,i]=rnorm(10000)
}
names(dat)=c("a", letters[2:7], LETTERS[1:5])

Yy=rep(0, 10000)
for (i in 1:7) {
  Yy=Yy+i*dat[,i]
}
Yy=1/(1+exp(-Yy))
outcome=c()
for (i in 1:10000) {
  outcome[i]=sample(c(1,0), 1, prob=c(Yy[i], 1-Yy[i]))
}
dat=mutate(dat, outcome=factor(outcome))

library(glmulti)

mod=glmulti(outcome ~ .,
        data=dat,
        level=1,
        method="g",
        crit="aic",
        confsetsize=5,
        plotty=F, report=T,
        fitfunction="glm",
        family="binomial",
        minsize=7,
        maxsize=7,
        conseq=3)

输出

mod@objects[[1]]
Call:  fitfunc(formula = as.formula(x), family = "binomial", data = data)

Coefficients:
(Intercept)            a            b            c            d            e            f            g  
   -0.01386      1.11590      1.99116      3.00459      4.00436      4.86382      5.94198      6.89312  

Degrees of Freedom: 9999 Total (i.e. Null);  9992 Residual
Null Deviance:      13860 
Residual Deviance: 2183     AIC: 2199

具有固定数量预测变量的逻辑逐步回归

1 个答案: