K折交叉验证/分区模型

Question

我有一个包含41个样本和6个预测变量的数据集。我在 Matlab 中使用 treebagger 作为分类树。即使oob误差很高，模型也能准确预测所有41个标签。

但后来我尝试使用k fold交叉验证模型，验证准确率仅为41％。我很困惑。

我的另一个问题是，当我尝试交叉验证已经构建的整体模型时， k-fold算法如何工作。任何帮助将非常感激。

Answer 1

您无法训练和测试相同的数据。验证毫无意义。

K-fold交叉验证是为了防止这种情况。您训练一个子集并测试其余元素。用随机子集冲洗并重复以提高验证准确度（不是分类准确度）。

您无法使用k-fold交叉验证来测试已构建的分类器。这没有任何意义。