我对Krippendorff的alpha用于文本连续性或文本单元化的注释者间可靠性度量有疑问。 paper中对此措施进行了详细说明。
我有文本和2个编码器/注释器。注释者的任务是使用最大原理识别那些文本中的名词短语。也就是说,所有修饰主名词的元素都必须在名词短语的相同跨度中进行标记。当然,两个编码器之间存在分歧,我需要衡量可靠性。
我阅读了Krippendorff的论文,我的问题是:如何计算图片中的alpha:第一个注释者的一个单位映射到第二个注释者的输出中有间隔的多个单独的单位?这种情况在随后的单位中传播了很多分歧。
在本文中,所有给出的示例都是一对一的,但起点和长度都不同,但与我的示例不同:/
我的计算(在图片中)正确吗?