我对rfe
库中的caret
函数有疑问。在插入符号主页link上,他们提供以下RFE算法:
algorithm
对于这个例子,我使用具有3倍交叉验证的rfe
函数和带有线性SVM和5倍交叉验证的 train 函数。
library(kernlab)
library(caret)
data(iris)
# parameters for the tune function, used for fitting the svm
trControl <- trainControl(method = "cv", number = 5)
# parameters for the RFE function
rfeControl <- rfeControl(functions = caretFuncs, method = "cv",
number= 4, verbose = FALSE )
rf1 <- rfe(as.matrix(iris[,1:4]), as.factor(iris[,5]) ,sizes = c( 2,3) ,
rfeControl = rfeControl, trControl = trControl, method = "svmLinear")
rfe
会将数据(150个样本)拆分为3倍train
函数将在训练集(100个样本)上运行,并进行5次交叉验证以调整模型参数 - 随后的RFE。 让我感到困惑的是,当我看一下rfe
函数的结果时:
> lapply(rf1$control$index, length)
$Fold1
[1] 100
$Fold2
[1] 101
$Fold3
[1] 99
> lapply(rf1$fit$control$index, length)
$Fold1
[1] 120
$Fold2
[1] 120
$Fold3
[1] 120
$Fold4
[1] 120
$Fold5
[1] 120
从那看起来,5倍cv的训练集的大小是120个样本,当我期望80的大小。??
如果有人能够澄清 rfe 和训练如何协同工作,那将会很棒。
干杯
> sessionInfo()
R version 2.15.1 (2012-06-22)
Platform: i386-apple-darwin9.8.0/i386 (32-bit)
locale:
[1] C
attached base packages:
[1] stats graphics grDevices utils datasets methods base
other attached packages:
[1] pROC_1.5.4 e1071_1.6-1 class_7.3-5 caret_5.15-048
[5] foreach_1.4.0 cluster_1.14.3 plyr_1.7.1 reshape2_1.2.1
[9] lattice_0.20-10 kernlab_0.9-15
loaded via a namespace (and not attached):
[1] codetools_0.2-8 compiler_2.15.1 grid_2.15.1 iterators_1.0.6
[5] stringr_0.6.1 tools_2.15.1
答案 0 :(得分:1)
这里的问题是lapply(rf1$fit$control$index, length)
没有存储我们认为它的作用。
让我明白有必要查看代码。会发生什么有以下几点:
当您致电rfe
时,整个数据会传递给nominalRfeWorkflow
。
在nominalRfeWorkflow
中,根据rfeControl
分割的列车和测试数据(在我们的示例中,根据3折CV规则3次)被传递到rfeIter
。
我们可以在rf1$control$index
下的结果中找到这些拆分。
在rfeIter
中,~100个训练样本(我们的例子)用于查找最终变量(该函数的输出)。
据我了解,大约50个测试样本(我们的例子)用于计算不同变量集的性能,但它们仅作为外部性能存储,但不用于选择最终变量。
为了选择这些,使用5倍交叉验证的性能估计。
但是我们在rfe
返回的最终结果中找不到这些索引。
如果我们确实需要它们,我们需要从fitObject$control$index
中的rfeIter
获取它们,将它们返回到nominalRfeWorkflow
,然后返回到rfe
,并从中生成rfe
} { - {1}}返回的-Class对象。
那么rfe
中存储了什么? - 当lapply(rf1$fit$control$index, length)
找到最佳变量时,使用最佳变量和完整参考数据创建最终模型拟合(150)。 rfe
在rf1$fit
中创建如下:
rfe
此函数再次运行fit <- rfeControl$functions$fit(x[, bestVar, drop = FALSE],
y,
first = FALSE,
last = TRUE,
...)
函数,并使用完整的参考数据进行最终交叉验证,最终的特征集和train
通过省略号(trControl
)给出。
由于我们的...
应该做5倍CV,因此trControl
返回120是正确的,因为我们必须计算150/5 * 4 = 120。