使用scikit-learn的置换测试进行的重要测试对所有分类器产生相同的p值

Question

我正在尝试使用scikit-learn的permutation test找出结果的重要性，如下所示：

score, permutation_scores, pvalue = permutation_test_score(clf.best_estimator_, X_train, Y_train, cv=10, n_jobs=10, n_permutations=100, scoring='accuracy')

其中clf.best_estimator是交叉验证的结果。

我将它用于多个分类器（几个独立的clf.best_estimator_），但所有这些分类的p值都是相同的0.00990099009901。

我不知道为什么会这样。奇怪的是，这与scikit-learn用户指南中链接代码中报告的数字相同。

Answer 1

我在scikit-learn的问题中问了同样的问题，答案是：对于大多数好的分类器，如果随机分类器在100分的1次测试中优于训练分类器，这个神奇的数字将是结果。

所以这个神奇的数字并没有错。