当用户为任何主题注释多个类别时，注释器间协议

Question

我想找几个注释器的inter注释器协议。 注释器为每个主题注释几个类别（10个类别中）。

例如有3个注释器，10个类别和100个主题。

我知道http://en.wikipedia.org/wiki/Cohen's_kappa（对于两个注释器）和http://en.wikipedia.org/wiki/Fleiss%27_kappa（对于两个以上的注释器）注释器间协议但我意识到如果用户为任何一个注释多个类别它们可能不起作用主题。

在这种情况下，有没有人知道确定注释间协议。

由于

Answer 1

几年前我不得不这样做。我不记得我是怎么做到的（我没有代码了）但我有一个有效的例子向我的教授报告。我正在处理注释的注释，有56个类别和4个注释器。

注意：当时我需要一种方法来检测注释者最不同意的地方，以便在每次注释会话之后，他们可以关注他们不同意的原因并制定合理的规则来最大化这个统计数据。它为此目的效果很好

Let's assume A-D are annotators and 1-5 are categories. This is a possible scenario.

     A      B      C    D     Probability of agreement
1    X      X      X    X        4/4
2    X      X      X             3/4
3    X      X                    2/4
4    X                           1/4
5 

A tags this comment as 1,2,3,4 B->1,2,3, and so forth. 

For each category the probability of agreement is calculated. 

Which is then divided by the number of unique categories tagged for that particular comment.

Therefore for the example comment, we have 10/16 as annotator's agreement. This is a value between 0 and 1. 

如果这对您不起作用（http://www.mitpressjournals.org/doi/pdf/10.1162/coli.07-034-R2）pg-567，则由pg-587案例研究引用。

Answer 2

按标签计算协议。如果您将其中一个注释器视为黄金标准，则可以在标签分配上计算召回率和精确度。另一种选择是标签重叠，它可以是注释器分配了一个类别的主体的比例，两者都分配了它（交叉结合）。