交叉验证得分的标准差是多少?

时间:2016-01-21 02:14:06

标签: machine-learning statistics scikit-learn standard-error

在进行模型选择的交叉验证时,我发现有很多方法可以引用交叉验证分数的“标准偏差”(此处“分数”表示评估指标,例如准确度,AUC,损失等)

1)一种方法是计算K倍数的平均值的标准偏差(= K倍的标准偏差/ sqrt(K))。

2)第二种方法是仅计算K折叠分数的标准差。可以在这里找到一个例子:

http://scikit-learn.org/stable/auto_examples/svm/plot_svm_anova.html

3)另一种我不完全理解的方式。它似乎计算K folds / sqrt(N)的标准差,其中N是数据集的大小......

http://scikit-learn.org/stable/auto_examples/exercises/plot_cv_diabetes.html

我个人认为1)是正确的,因为我们更关心样本均值的标准误差(此处= K折叠验证的平均分数),而不是样本的标准偏差。谁能解释哪种方式更受欢迎?

0 个答案:

没有答案