通过不同的数据帧循环回归

时间:2017-08-02 13:20:53

标签: r loops cross-validation sapply training-data

目标是对不同的训练数据框进行多次logit回归,然后评估各个测试数据集的性能。

首先,我们从df创建多个(5)随机采样数据帧:

for(i in 1:5) {
nr <- paste("random_df", i, sep = "_")
assign(nr, random_df[sample(nrow(df)),])
}

然后,我们创建了分离为训练和测试集的指标:

train <- 1:(length(df$y)*0.8)
test  <- !(1:nrow(df) %in% train)

现在我们想在每个训练数据框架上循环logit回归。这是第一个问题,因为我们只能将输出创建到矩阵或列表中。 我们可以选择创建随机样本的列表,数据框或矩阵:

lr_list <- list(random_df_1,random_df_2,random_df_3,random_df_4,random_df_5)

然后,我们将logit回归循环到列表中的所有数据框:

for(i in 1:5) {
  index <- paste("lr_train", i, sep = "_")
  assign(index, lapply(lr_list, function(x) {glm(y ~ x1 + x2, data=x, 
  subset=train, family=binomial)}))
}

此处lapply创建一个列表,并sapply每个估算结果的矩阵。

目标是以glm对象的形式获得输出,以便使用每个 train glm 进行预测,从而能够评估不同测试中的模型性能 - /训练数据星座:

lr_test_1 <- predict(lr_train_1, random_df_1[test, ], type="response")

非常感谢任何帮助。

2 个答案:

答案 0 :(得分:2)

我很确定你误解了lapply的使用和输出。它遍历输入并创建一个对象列表,这些对象是您使用的函数输出的典型类。

如果我正确阅读了您的代码,那么这部分

for(i in 1:5) {
  index <- paste("lr_train", i, sep = "_")
  assign(index, lapply(lr_list, function(x) {glm(y ~ x1 + x2, data=x, 
  subset=train, family=binomial)}))
}

基本上是在同一个事物上循环两次,因此创建了五个相同的列表。

相反,只需使用:

lr_train <- lapply(lr_list, function(x) {glm(y ~ x1 + x2, data=x, 
      subset=train, family=binomial)})

然后mapplypredict放在glm对象列表上。

lr_test <- mapply(function(x, y) predict(x, y[test, ], type = "response"), lr_train, lr_list)

请注意,由于缺少工作数据示例,这是未经测试的。

答案 1 :(得分:0)

好吧,不久前我学习了dplyrpurrr个软件包。这是关于使用嵌套的data.frame

nested_df <- tibble(subdf = 1:5) %>% # Choose number of 'random_df' 
  rowwise() %>% 
  mutate(data = list(df[sample(nrow(df)),])) %>% # create a list of random data.frames within our data.frame
  ungroup() %>% 
  mutate(model = map(data, ~ glm(y ~ x1 + x2, data = .x, 
                                     subset = train, family = binomial))) # iterate with map throug all of data.frame's in column data


nested_df

  subdf                   data     model
  <int>                 <list>    <list>
1     1 <data.frame [100 x 3]> <S3: glm>
2     2 <data.frame [100 x 3]> <S3: glm>
3     3 <data.frame [100 x 3]> <S3: glm>
4     4 <data.frame [100 x 3]> <S3: glm>
5     5 <data.frame [100 x 3]> <S3: glm>

我们可以查看每个model

nested_df$model[[1]]

Call:  glm(formula = y ~ x1 + x2, family = binomial, data = .x, subset = train)

Coefficients:
(Intercept)          x1b          x1c           x2  
  3.467e+00   -5.085e-03    1.300e-02    9.368e-05  

Degrees of Freedom: 79 Total (i.e. Null);  76 Residual
Null Deviance:      0.3428 
Residual Deviance: 0.3408   AIC: 12.7

输出来自我快速模拟的df

df <- data.frame(y = rnorm(100, 100),
                 x1 = sample(letters[1:3], size = 100, replace = T),
                 x2 = runif(100 ,0, 1000)) %>% 
  mutate(y = y/max(y))

您可以使用mutate()map()

的相似结构对每个glm进行预测