我正在尝试比较几种不同测量指标之间的模型准确性。例如,某些引文使用准确性而其他使用错误。这个是相当明显的,但有很多不同的指标,我不完全确定如何比较其中的一些,而不是失去一些单独的指标完整性。或者是否可以比较一些。我有的清单是:
错误率 - 平均绝对误差 - 绝对错误 - 对数损失 - 分类准确度 - 均方根误差 - 分类错误 - F-Measure - 曲线下面积 - 平均测试错误 - 错误百分比 - 错误分类错误 - 测试错误 - 平均测试错误
所以我的问题是如何有效地在这些之间进行转换,如果不能进行直接转换,则要以有意义和准确的方式进行比较和排名。
答案 0 :(得分:1)
您通常无法转换这些指标。他们测量微妙的不同的东西。但线性错误与平方错误不同。
以一个指标获胜不意味着赢得不同的指标。假设我们想要将单变量数据汇总为单个数字。平均值最小化平方误差,中值线性误差 - 因此它们有不同的最优解,而取决于您的评估指标,您可能会得到不同的赢家。
不要比较不同的文章。他们将使用不同的预处理,功能,特征选择,规范化,子集,不同的拆分进行交叉验证等。
通常,比较这些数字是行不通的。
您必须自己重新运行他们的实验,并使用完全相同的输入和评估。