McNemar 2X2测试：＆＃34;＆＃34;

Question

简介

我正在使用以下article的 3.1 部分中解释的 McNemar 测试，以评估2种算法alg1和algo2的性能。我的问题涉及2x2表中元素的含义。

算法应用于由9000个查询组成的相同数据集。我想对查询进行分类。作为评估标准，我们使用准确度。如果定义如下：

• If查询已正确分类。然后将精度提高1

• Else什么都不做

  准确度=（正确分类的查询数）/（查询总数）

2x2表

我将在该部分中发布文章中提供的定义。我提供了自己的介绍。我的问题在于定义2.请告诉我它是否正确：

1. alg1和algo2错误分类的查询数量（n00）：错误分类的查询数
2. 未经alg1和algo2 （n11）错误分类的查询数： alg1 和 algo2
3. alg1而不是algo2 （n01）错误分类的查询数：仅 alg1
中错误分类的查询数

4. alg2而不是algo1 （n10）错误分类的查询数：仅 alg2

   中错误分类的查询数

   | n00 | N01 |

   | n10 | N11 |

Answer 1

Number of missclassified examples by neither

表示两种算法都正确地对查询进行分类的查询。

二元分类的例子

SAMPLE ID | EXPECTED CLASSIFICATION | ALGO1 CLASS | ALGO2 CLASS
1           GROUP A                   GROUP A       GROUP B
2           GROUP A                   GROUP A       GROUP A
3           GROUP B                   GROUP A       GROUP A
4           GROUP B                   GROUP A       GROUP B

• ID1会添加到n10
• ID2会添加到n11
• ID3会添加到n00
• ID4会添加到n01