了解分类结果

Question

我运行了一个简单的两级神经网络，最后我得到了这个结果（eval）：

我想我会对True Positive和False Negative结果感到满意。但False Positive是什么意思？ False Positive意味着它没有正确地对2002元素进行分类并错过了它们？

Accuracy是66％，这真的很糟糕吗？这与AUC之间有什么区别？

Precision因为准确性也不好而受到影响（我希望80％以上）？

如何翻转Positive Label和Negative Label？我真的想预测目标要找到CANDIDATE

的分类

Answer 1

基本上，对于false / true positives和false / true negatives： 您已在数据集中检测到几乎所有CANDIDATE样本，其中3420个被正确预测为TRUE，其中31个被预测为FALSE。该信息以召回比率捕获：3420 /（3420 + 31）= 99.1％。它非常高，非常好。

但是，您预测太多 CANDIDATE。实际上，在模型预测的所有TRUE值中，3420实际上是真的，2002实际上是假的。这使得精度比率变差：3420 /（3420 + 2002）= 63.1％。哪个不好。

F1是Precision和Recall之间的结合，它将它们总结为一个值，某种加权平均值。公式为2 *（P * R）/（P + R）。因此，如果Precision或Recall中的一个是坏的：F1score将捕获它。

您可以看到数据集中共有5999个示例。其中，3451真的是真的，2548真的是假的。因此，您有57％的数据是正确的。如果你制作了一个非常愚蠢的分类器，无论功能是什么都将其归类为TRUE，那么你将获得57％的准确率。鉴于此，66.1％的准确率并不是很好。 如果查看该表的第二列，则只能预测5999个样本中的577个FALSE。您的分类器严重偏向于TRUE预测。

对于AUC，它代表曲线下面积。你可以阅读more detailed info about it here。总结一下：当你预测一个值时，你不会直接得到真或假。你得到一个介于0（假）和1（真）之间的实数。对预测值进行分类的方法，比如0.2，就是使用阈值。默认情况下，阈值设置为0.5。因此，如果您预测0.2，您的模型将预测将其归类为假，因为0.2 <0.5。但是你可以让这个阈值在0和1之间移动。如果分类器确实很好，如果它很好地区分了Falses和Trues的预测，那么AUC将接近1.如果它非常糟糕，它将会接近0.5。如果您需要更多信息，请参阅链接。