Question

我参加了Coursera实践机器学习课程，课程作业需要使用dataset建立预测模型。将数据拆分为training和testing数据集后，根据感兴趣的结果（此处标记为y，但实际上是数据集中的classe变量）：< / p>

inTrain <- createDataPartition(y = data$y, p = 0.75, list = F) 
training <- data[inTrain, ] 
testing <- data[-inTrain, ]

我尝试了两种不同的方法：

modFit <- caret::train(y ~ ., method = "rpart", data = training)
pred <- predict(modFit, newdata = testing)
confusionMatrix(pred, testing$y)

VS

modFit <- rpart::rpart(y ~ ., data = training)
pred <- predict(modFit, newdata = testing, type = "class")
confusionMatrix(pred, testing$y)

我认为他们会给出相同或非常相似的结果，因为初始方法会加载“rpart”。包（建议我使用此包用于该方法）。但是，时间安排（caret慢得多）＆amp;结果非常不同：

Method 1 (caret)：

Confusion Matrix and Statistics

Reference
Prediction    A    B    C    D    E
         A 1264  374  403  357  118
         B   25  324   28  146  124
         C  105  251  424  301  241
         D    0    0    0    0    0
         E    1    0    0    0  418

Method 2 (rpart)：

Confusion Matrix and Statistics

Reference 
Prediction    A    B    C    D    E
         A 1288  176   14   79   25
         B   36  569   79   32   68
         C   31   88  690  121  113
         D   14   66   52  523   44
         E   26   50   20   49  651

正如您所看到的，第二种方法是更好的分类器 - 对于D类和D类，第一种方法非常差。即

我意识到这可能不是提出这个问题的最合适的地方，但我真的很感激对这个问题和相关问题有了更多的了解。 caret似乎是统一方法和调用语法的绝佳方法，但我现在对使用它犹豫不决。

Answer 1

caret实际上做得更多。特别是it uses cross-validation to optimize the model hyperparameters。在您的情况下，它会尝试三个值cp（类型modFit并且您会看到每个值的准确度结果），而rpart只使用0.01，除非您另有说明（见?rpart.control）。交叉验证也需要更长时间，特别是因为caret默认使用自举。

为了获得类似的结果，您需要禁用交叉验证并指定cp：

modFit <- caret::train(y ~ ., method = "rpart", data = training,
                       trControl=trainControl(method="none"),
                       tuneGrid=data.frame(cp=0.01))

此外，您应该为两个模型使用相同的随机种子。

也就是说，caret提供的额外功能是一件好事，你可能应该选择caret。如果你想了解更多，那就有很好的文献记录，作者有一本很好的书，应用预测建模。

为什么使用caret :: train（...，method =“rpart”）的结果与rpart :: rpart（...）不同？

1 个答案: