Question

我正在尝试使用LIME来解释我使用XGboost训练的二进制分类模型。从LIME调用explain()函数时遇到错误，这意味着我的模型（或解释器）中的列与我要解释的新数据不匹配。

此LIME的vignette确实演示了带有xgboost的版本，但是它是一个文本问题，与我的表格数据有些不同。这个question似乎遇到了相同的错误，但是对于文档术语矩阵，似乎也掩盖了我的情况。我已经用mtcars处理了一个最小的示例，该示例产生的误差与我自己更大的数据集中的误差完全相同。

library(pacman)
p_load(tidyverse)
p_load(xgboost)
p_load(Matrix)
p_load(lime)

### Prepare data with partition
df <- mtcars %>% rownames_to_column()
length <- df %>% nrow()
df_train <- df %>% select(-rowname) %>% head((length-10))
df_test <- df %>% select(-rowname) %>% tail(10)

### Transform data into matrix objects for XGboost
train <- list(sparse.model.matrix(~., data = df_train %>% select(-vs)), (df_train$vs %>% as.factor()))
names(train) <- c("data", "label")
test <- list(sparse.model.matrix(~., data = df_test %>% select(-vs)), (df_test$vs %>% as.factor()))
names(test) <- c("data", "label")
dtrain <- xgb.DMatrix(data = train$data, label=train$label)
dtest <- xgb.DMatrix(data = test$data, label=test$label)


### Train model
watchlist <- list(train=dtrain, test=dtest)
mod_xgb_tree <- xgb.train(data = dtrain,  booster = "gbtree", eta = .1, nrounds = 15, watchlist = watchlist)

### Check prediction works
output <- predict(mod_xgb_tree, test$data) %>% tibble()

### attempt lime explanation
explainer <- df_train %>% select(-vs) %>% lime(model = mod_xgb_tree)  ### works, no error or warning
explanation <- df_test %>% select(-vs) %>% explain(explainer, n_features = 4) ### error, Features stored names in `object` and `newdata` are different!

names_test <- test$data@Dimnames[[2]]  ### 10 names
names_mod <- mod_xgb_tree$feature_names ### 11 names
names_explainer <- explainer$feature_type %>% enframe() %>% pull(name) ### 11 names


### see whether pre-processing helps
my_preprocess <- function(df){
  data <- df %>% select(-vs)
  label <- df$vs

  test <<- list(sparse.model.matrix( ~ ., data = data), label)
  names(test) <<- c("data", "label")

  dtest <- xgb.DMatrix(data = test$data, label=test$label)
  dtest
}

explanation <- df_test %>% explain(explainer, preprocess = my_preprocess(), n_features = 4) ### Error in feature_distribution[[i]] : subscript out of bounds

### check that the preprocessing is working ok
dtest_check <- df_test %>% my_preprocess()
output_check <- predict(mod_xgb_tree, dtest_check)

我假设因为explainer仅具有原始预测变量列的名称，而处于转换状态的测试数据也具有(Intercept)列，因此引起了问题。我只是还没有想出一种防止这种情况发生的好方法。任何帮助将非常感激。我认为必须有一个整洁的解决方案。

Answer 1

如果您查看此页面（https://rdrr.io/cran/xgboost/src/R/xgb.Booster.R），您会发现某些R用户可能会收到以下错误消息：“存储在object和newdata中的功能名称是不同！”。

以下是此页面中与错误消息相关的代码：

predict.xgb.Booster <- function(object, newdata, missing = NA, outputmargin = FALSE, ntreelimit = NULL,predleaf = FALSE, predcontrib = FALSE, approxcontrib = FALSE, predinteraction = FALSE,reshape = FALSE, ...)

object <- xgb.Booster.complete(object, saveraw = FALSE)
      if (!inherits(newdata, "xgb.DMatrix"))
        newdata <- xgb.DMatrix(newdata, missing = missing)
      if (!is.null(object[["feature_names"]]) &&
          !is.null(colnames(newdata)) &&
          !identical(object[["feature_names"]], colnames(newdata)))
        stop("Feature names stored in `object` and `newdata` are different!")

identical(object[["feature_names"]], colnames(newdata)) =>如果object的列名（即基于训练集的模型）与newdata的列名（即测试集）不同，您将收到错误消息。

有关更多详细信息：

train_matrix <- xgb.DMatrix(as.matrix(training %>% select(-target)), label = training$target, missing = NaN)
object <- xgb.train(data=train_matrix, params=..., nthread=2, nrounds=..., prediction = T)
newdata <- xgb.DMatrix(as.matrix(test %>% select(-target)), missing = NaN)

借助上面的代码，您自己object和newdata设置数据时，可以通过查看object[["feature_names"]]和colnames(newdata)之间的差异来解决此问题。可能有些列的排列顺序或顺序不同。

Answer 2

在新的数据集中尝试一下，

   colnames(test)<- make.names(colnames(test))

   newdataset<- test %>% mutate_all(as.numeric)

   newdataset<- as.matrix(newdataset)

   nwtest<-xgb.DMatrix(newdataset)

Answer 3

为防止显示（Intercept）列，在为测试数据创建稀疏矩阵时，需要稍微更改代码。更改行：

get = dict(request.GET)
post = dict(request.POST)

至：

test <- list(sparse.model.matrix( ~ ., data = data), label)

希望这会有所帮助

Answer 4

我遇到了同样的问题，但各列不是按字母顺序排列的。为了解决这个问题，我将df_test中的列名顺序与df_train进行了匹配，以使列名的顺序相同。

以与df_train相同的顺序创建df_test列号的列表：

    idx<- match(colnames(df_train), colnames(df_test))

使用此列顺序创建新的df_test文件：

    df_test_match <- df_test[,idx]

存储在`object`和`newdata`中的功能名称是不同的！使用LIME软件包解释R

4 个答案: