为什么应用分层K折交叉验证后准确性和AUC会完全相同

Question

我是机器学习和二进制分类的新手，在这种分类中，精度和AUC完全相同，我不确定这是否可行或有任何问题。

感谢帮助！

谢谢

Answer 1

我认为结果表明这些模型可能过拟合或不足。最好的方法是使用火车测试拆分并检查测试数据的结果。

另一个原因可能是您的数据量很小，并且两个模型都能够过拟合，因此您肯定需要进行火车测试拆分。

希望这会有所帮助。

Answer 2

如果您无需任何调整就可以看到如此高的精度，那么大多数情况下基线也会很高。

如果您想进行一个很好的比较，可以构建一个虚拟分类器，该分类器始终预测主分类（二进制分类中的分类为0和1），因此您将始终预测为1，然后进行准确性测试。这将是您的基准，如果也为0.95，您将知道该数据集不平衡，并且分类器效果不佳。