关于为何精度不是二进制分类问题的良好指标的论文的建议

Question

作为一个初学者，我无法清楚地理解为什么推荐使用F1分数或Cohen的kappa而不是为不平衡数据集评估模型的准确性。

有人可以为不平衡数据集的二进制分类问题的准确性为什么不是好的评估指标而推荐好的论文或实例吗？

谢谢。

Answer 1

一个实际的例子：假设数据不平衡的问题，例如对欺诈交易与非欺诈交易进行分类。该数据集包含1000万笔交易，其中100笔是欺诈交易。

准确度的计算方式为：

其中：

• 分类器正确地指出欺诈行为的确是肯定的。
• 否定的是分类器正确地表明存在非欺诈的情况。

如果我们有一个无用的分类器将所有交易分类为非欺诈性，则在计算准确性时：

结果是99.999％，这似乎是非常好的准确性，尽管分类器对于我们的目的完全没有用。

由于这个原因，仅使用准确性作为质量度量标准可能是一个错误的决定。还需要检查其他措施，例如敏感性（又名回忆）和特异性，或者您评论过的措施（ F1-得分或科恩的κ）。

Answer 2

当您拥有98％的0级（例如良好交易）和2％的1级（例如欺诈性交易）时，则当分类模型确定所有交易都可以时，它将获得98％的准确度。因此，完美的模型不会检测到任何欺诈交易！ 这可能是最简单的解释。