在weka中使用加权平均F度量的优点是什么?

时间:2015-12-02 12:31:52

标签: weka confusion-matrix

在weka中,我分别看到了'是'类和'不'类的F值。但是使用加权平均F-度量来比较模型的性能有什么好处。请帮我找到答案:)

2 个答案:

答案 0 :(得分:2)

让我们从一个聪明的例子开始,使用机器学习对文本中的蛋白质相互作用进行分类,其中我们的分类器试图将句子分为两类:(1)正类(2)负类。正类包含描述蛋白质相互作用的句子,而阴性类包含不描述蛋白质相互作用的句子。作为一名研究人员,我的重点是我的积极阶级分类器的F分数。为什么?因为我有兴趣看到我的分类器在对包含蛋白质相互作用的句子进行分类时的表现,而我并不关心它对否定句子进行分类的能力。因此,我只会考虑积极阶级的F分数。

然而,对于像垃圾邮件分类这样的另一个经典问题,我们的分类器将电子邮件分为两类:(1)火腿和(2)垃圾邮件,情景略有不同。作为一名研究员,我想知道我的分类器对火腿和垃圾邮件进行分类的能力。在那时,我可以独立地或以聚合的方式检查每个班级的F分数。火腿和垃圾邮件类的F分数的加权平均值是检查我们的分类器的性能的两种方法(在这种情况下,对于多类问题读取所有)类。因为加权F-measure只是所有F-measure的总和,每个F-measure都根据具有该特定类标签的实例数加权,对于两个类,它的计算方法如下:

Weighted F-Measure=((F-Measure for n class X number of instances from n class)+(F-Measure for y class X number of instances from y class))/total instances in dataset.

因此,最重要的是 - 如果分类对所有类别都敏感,则使用所有类别的F分数的加权平均值。

答案 1 :(得分:1)

据我记忆,它可以更好地处理"极端"精确或召回(P,R)数字,当一个或两个接近0或1时(它们通常是负相关的)。

如果要对数据集应用不同的算法,并且最终需要比较一些精度/召回数,则可能会发生这种情况。

事实证明,简单平均值(P + R)/ 2太简单了。

如果您有一个数据集,其中精度或召回率接近1或0,则F-measure仍会考虑另一个,有些任意。

(名称本身并不意味着什么)。

Andrew Ng在他的机器学习课程中解释得很好,第6周和#34;处理倾斜的数据"

screenshot quiz