性能评估,错误或准确性的最佳标准?

时间:2013-05-30 06:45:01

标签: weka

ANN和KNN使用Weka进行鲍鱼数据集。

ANN的结果 正确分类的实例3183 76.203% 错误分类的实例994 23.797% 平均绝对误差0.214 均方根误差0.3349 相对绝对误差58.6486%

KNN |的结果 正确分类的实例3211 76.8734% 错误分类的实例966 23.1266% 平均绝对误差0.2142 均方根误差0.3361 相对绝对误差58.7113%

KNN具有高精度,但ANN具有低误差。那么我应该说哪两种算法更好?哪个是更优选的标准,准确度或误差?我理解的是误差应该以高精度降低。但结果却相反。为什么会这样呢?

1 个答案:

答案 0 :(得分:1)

答案取决于您是要将问题视为分类(由您使用的算法建议)还是回归。如果这是一个分类问题,那么您应该只考虑正确/错误分类的实例的百分比。否则,错误。

要解释,正确分类的实例的百分比仅考虑预测是否准确,即预测2而不是1与预测10000不正确。原因是你得到的数据类错误,类之间没有差别大小的概念。另一方面,对于回归,您预测连续数量和差异的大小很重要。也就是说,如果实际值为1且预测为2,则模型比预测为10000时要好得多。

通过这种方式,您可以获得更好的准确度和更差的错误,反之亦然。发生的事情是你总体上得到了更正确的预测,但那些错误的预测会进一步脱离标记。

您想要使用哪种性能衡量标准取决于您的特定应用。您是否只关心是否预测了正确的类别,还是关于正确预测的距离?如果是后者,我建议使用回归而不是分类模型。