Question

我尝试将（1）的结果重现为R的新手。表6是14个数据集上4个分类器的AUC：

auc <- matrix(c(
  0.763 , 0.768 , 0.771 , 0.798 ,
  0.599 , 0.591 , 0.590 , 0.569 ,
  0.954 , 0.971 , 0.968 , 0.967 ,
  0.628 , 0.661 , 0.654 , 0.657 ,
  0.882 , 0.888 , 0.886 , 0.898 ,
  0.936 , 0.931 , 0.916 , 0.931 ,
  0.661 , 0.668 , 0.609 , 0.685 ,
  0.583 , 0.583 , 0.563 , 0.625 ,
  0.775 , 0.838 , 0.866 , 0.875 ,
  1.000 , 1.000 , 1.000 , 1.000 ,
  0.940 , 0.962 , 0.965 , 0.962 ,
  0.619 , 0.666 , 0.614 , 0.669 ,
  0.972 , 0.981 , 0.975 , 0.975 ,
  0.957 , 0.978 , 0.946 , 0.970),
  nrow = 14,
  byrow = TRUE,
  dimnames = list(1 : 14, c("C4.5", "C4.5+m", "C4.5+cf", "C4.5+m+cf"))
)

Friedman chi-squared = 10.952, df = 3, p-value = 0.01199

该论文称（第13页）卡方= 9.28，FF = 3.69。我从哪里获得上述测试中的这个值？

下一步是Nemenyi，我使用了PMCMR lib。

> library(PMCMR)
> posthoc.friedman.nemenyi.test(auc)

    Pairwise comparisons using Nemenyi multiple comparison test 
             with q approximation for unreplicated blocked data 

data:  auc 

          C4.5  C4.5+m C4.5+cf
C4.5+m    0.089 -      -      
C4.5+cf   0.972 0.227  -      
C4.5+m+cf 0.062 0.999  0.170  

P value adjustment method: none

我可以从某处获得2.569的临界值和1.25的相应临界距离（CD）吗？

我如何应用Holm测试？

（1）Demšar, Janez. "Statistical comparisons of classifiers over multiple data sets." The Journal of Machine Learning Research 7 (2006): 1-30.

比较多个分类器：R中的Nemenyi + Holm检验

0 个答案: