如何使用任何t检验比较数据集上的分类器？

Question

我想通过使用任何t检验来比较数据集上的分类器。我的问题在这里我应该用什么比较。恩。分类器1我将建立精度，精度，召回等列;对于分类器2也是如此。然后应用任何t检验。这是合乎逻辑的？如果不是我怎么做这个比较？哪个工具可以做这个比较？

提前致谢

Answer 1

根本问题是你想要展示什么？

只要您确定精确度的分布（或您在不同数据集中测量的任何内容：召回，精确度等）是正态分布的，您就可以尝试建议（t检验）。在我看来，目前尚不清楚它们会是什么。

为了比较两个分类器在数据集上的性能，人们通常计算ROC curve，并且通常使用等误差率或曲线下面积（AUC）。 AUC与Mann-Whitney U统计数据相关联。

在固定数据集上比较两个二元分类器时通常要做的其他事情是评估McNemar test以评估性能差异是否具有统计显着性。