我一直在尝试使用 varImp
包中的 caret
函数计算具有混合尺度特征的模型的变量重要性。我尝试了多种方法,包括以数字方式重命名和编码我的关卡。在每种情况下,我都会收到以下错误:
Error in auc3_(actual, predicted, ranks) :
Not compatible with requested type: [type=character; target=double].
以下虚拟示例应说明我的观点(已编辑以反映@StupidWolf 的更正):
library(caret)
#create small dummy dataset
set.seed(124)
dummy_data = data.frame(Label = factor(sample(c("a","b"),40, replace = TRUE)))
dummy_data$pred1 = ifelse(dummy_data$Label=="a",rnorm(40,-.5,2),rnorm(40,.5,2))
dummy_data$pred2 = factor(ifelse(dummy_data$Label=="a",rbinom(40,1,0.3),rbinom(40,1,0.7)))
# check varImp
control.lvq <- caret::trainControl(method="repeatedcv", number=10, repeats=3)
model.lvq <- caret::train(Label~., data=dummy_data,
method="lvq", preProcess="scale", trControl=control.lvq)
varImp.lvq <- caret::varImp(model.lvq, scale=FALSE)
使用不同模型(如 randomForest 和 SVM)时问题仍然存在。
如果有人知道解决方案或可以告诉我出了什么问题,我将不胜感激。
谢谢!
答案 0 :(得分:2)
当您在 lvq 上调用 varImp 时,它默认为 filterVarImp()
,因为此模型没有特定的变量重要性。现在,如果您检查 help page:
对于两类问题,一系列的截止点被应用于 预测器数据来预测类别。敏感性和特异性 计算每个截止值并计算 ROC 曲线。
现在,如果您读取将数据输入 filterVarImp()
的 source code of varImp.train() ,它是原始数据帧,而不是预处理过程中产生的任何内容。
这意味着在原始数据中,如果你有一个变量是一个因子,它不能切割变量,它会抛出这样的错误:
filterVarImp(data.frame(dummy_data$pred2),dummy_data$Label)
Error in auc3_(actual, predicted, ranks) :
Not compatible with requested type: [type=character; target=double].
所以使用我的例子,就像你指出的那样,你需要对它进行一次热编码:
set.seed(111)
dummy_data = data.frame(Label = rep(c("a","b"),each=20))
dummy_data$pred1 = rnorm(40,rep(c(-0.5,0.5),each=20),2)
dummy_data$pred2 = rbinom(40,1,rep(c(0.3,0.7),each=20))
dummy_data$pred2 = factor(dummy_data$pred2)
control.lvq <- caret::trainControl(method="repeatedcv", number=10, repeats=3)
ohe_data = data.frame(
Label = dummy_data$Label,
model.matrix(Label ~ 0+.,data=dummy_data))
model.lvq <- caret::train(Label~., data=ohe_data,
method="lvq", preProcess="scale",
trControl=control.lvq)
caret::varImp(model.lvq, scale=FALSE)
ROC curve variable importance
Importance
pred1 0.6575
pred20 0.6000
pred21 0.6000
如果您使用的模型没有特定的变量重要性方法,那么一种选择是您可以先计算变量重要性,然后再运行模型。
答案 1 :(得分:1)
请注意,可以通过将序数特征(具有 d 个级别)替换为其 (d-1) 维指示符编码来规避此问题:
model.matrix(~dummy_data$pred2-1)[,1:(length(levels(dummy_data$pred2)-1)]
然而,为什么 varImp 不自动处理这个?此外,这有一个缺点,即它为每个 d-1 个指标产生一个重要性分数,而不是原始特征的一个统一重要性分数。