混淆矩阵的信息标准

Question

可以使用Akaike Information Criterion (AIC)来衡量统计模型的拟合度，这可以解释拟合的好坏以及用于模型创建的参数数量。 AIC涉及计算该模型的似然函数的最大值（ L ）。 如果给出分类模型的预测结果，如何计算 L ，表示为混淆矩阵？

Answer 1

无法从混淆矩阵计算AIC，因为它不包含任何有关可能性的信息。根据您使用的模型，可以计算可能性或准可能性，从而计算AIC或QIC。

您正在处理的分类问题是什么，您的模型是什么？

在分类环境中，通常使用其他措施进行GoF测试。我建议阅读Hastie，Tibshirani和Friedman的“统计学习要素”，以便对这种方法有一个很好的概述。

希望这有帮助。

Answer 2

Kononenko和Bratko的

Information-Based Evaluation Criterion for Classifier's Performance正是我所寻找的：

  

分类准确度通常用作分类性能的度量。然而，已知该措施具有若干缺陷。公平的评估标准应排除类概率的影响，这可能使完全无知的分类器能够轻松地实现高分类准确性。本文提出了一种评估分类器答案信息得分的方法。它排除了先验概率的影响，处理各种类型的不完美或概率答案，也可用于比较不同领域的表现。