在交叉验证后对独立数据测试模型是正常的

Question

我想执行一个随机森林模型，所以我将数据分为70％的训练和30％的测试。我对火车数据应用了交叉验证程序（70％），并获得了交叉验证的精度。之后，我在测试数据上测试了我的模型（30％），然后再进行澄清。

所以，我想知道这是否是测试模型鲁棒性的好方法，以及这两种精度的解释是什么。

谢谢。

Answer 1

构建RF模型时，您不需要执行交叉验证，因为RF计算自己的CV分数即OOB分数。实际上，您从模型（model_name$confusion处的混淆矩阵）获得的结果基于OOB分数。

您可以使用OOB得分（以及从中得出的各种度量标准，例如Precision，Recall等）从模型列表中选择模型（例如，具有不同参数/参数的模型），然后使用测试数据，以检查所选模型是否推广良好。