我想知道用于评估算法准确性/良好性的various techniques和metrics是什么以及如何使用给定度量来推导出关于ML模型的结论。
这样做的一种方法是使用精确和召回，如定义here in wikipedia。 另一种方法是使用精确度指标，如here所述。那么，我想知道的是，是否还有其他衡量ML模型的指标？
答案 0 :(得分：11)
我前段时间编译了一个用于评估分类和回归算法的指标列表，形式为cheatsheet。分类的一些指标：精确度，回忆率，敏感度，特异性，F度量，马修斯相关性等。它们都基于混淆矩阵。其他的存在用于回归（连续输出变量）。
该技术主要是对某些数据运行算法以获取模型，然后将该模型应用于新的，以前看不见的数据，并评估该数据集上的度量标准，并重复。
一些技巧（实际上来自统计数据resampling techniques）：
答案 1 :(得分：0)
一般来说，谈论ML是一个相当广阔的领域，但我会尝试以任何方式回答。维基百科对ML的定义如下
机器学习是人工智能的一个分支，它涉及可以从数据中学习的系统的构建和研究。
在此上下文中，可以定义算法的参数化。使用具有已知输出的输入数据导出算法的参数。当算法“学习”输入和输出之间的关联时，可以使用输出众所周知的其他输入数据对其进行测试。
让我们假设你的问题是从言语中获取话语。这里的输入是某种包含一个单词的音频文件（不一定，但我认为这种情况使其非常简单）。您将记录X个字N次，然后使用（例如）N / 2个重复来参数化您的算法，而忽略 - 此刻 - 您的算法将如何。
现在一方面 - 取决于算法 - 如果你用剩下的重复之一喂你的算法，它可能会给你一些确定性估计，可用于表征只重复一次的识别。另一方面，您可以使用所有剩余的重复来测试学习的算法。对于每个重复，您将其传递给算法并将预期输出与实际输出进行比较。毕竟，您将获得学习算法的准确度值，计算为正确分类和总分类的商。
无论如何，实际的准确性将取决于您的学习和测试数据的质量。
模式识别和机器学习 Christopher M Bishop
答案 2 :(得分：0)
有多种评估ML模型性能的指标，没有规则规定只有20或30个指标。您可以根据自己的问题创建自己的指标。在解决现实问题的各种情况下，您需要创建自己的自定义指标。 谈到现有的指标，它已经列在第一个答案中，我只强调每个指标的优缺点，以便更好地了解。
精度是最简单的度量标准，并且经常使用。它是第1类的点数/数据集中的总点数。这是针对2类问题的，其中有些点属于1类，有些点属于2类。当数据集不平衡时，由于偏向于平衡点而无法解释，因此不是首选。
< / li>对数损失是有助于获得概率分数的度量标准，可以使您更好地理解为什么某个特定点属于类别1。该度量标准的最好部分是它是内置在逻辑回归中的，这是著名的ML。技术。
混淆度量标准最适合用于2类分类问题，该问题给出四个数字，对角线数字有助于您了解模型的性能如何，该度量标准还包括诸如精度，召回率和f1 -score是可以解释的。