计算多类系统的准确度和精度

Question

我目前正在评估一组输出二进制结果的单词纹理分类器：

• 真阳性（ TP ）
• 真阴性（ TN ）
• 误报（ FP ）
• 误报（ FN ）

我希望计算准确度，但我不确定我是否正确分配了真阴性。

我目前正在使用8个班级，每次有真正的阳性时分配7个真阴性，每次出现假阳性时分配6个真阴性和假阴性。

我不确定是否应该在真正的阳性时添加一个真正的阴性？ 这似乎仍然会给出过高的结果，比如这些结果：

TP ：20

FP ：10

TN ：20

FN ：10

准确度：0.66

当分配真正的否定时，就像我最初做的那样甚至更高。当只有一半的结果是正确的或这是正常的时候，准确度不是50％吗？

您是否也认为这是衡量分类器准确度的最佳指标，还是有更先进的指标？

感谢

Answer 1

从我所阅读的方法开始，我最初使用的方法是正确的，尽管标准的准确度（总体准确度）不一定是评估分类器的最佳方式。

Precision和Recall被广泛使用，因为它们代表了类型1和类型2错误。但是对于单个组合度量，则通常使用F1Measure F1Score这是精度和召回的谐波平均值，可以使用以下公式计算： formula

其他选项如ROC曲线（由真实正率（TPR）和误率率（FPR）生成）也被使用，但不一定用于多类系统。为了生成具有这些度量的单个度量，采用曲线下面积（AUC），其主要表示分类器的预测能力。然而，这再次没有广泛用于多类系统。