Question

我一直在尝试为小型数据集计算Krippendorff的alpha统计量，但是对于基本相同的数据协议情况，我能够得到非常不同的alpha分数。

在1到5的评分等级中，4.5和5的两个等级被认为是4.5和4的等级相同的距离或协议量，但是我在Cohens kappa和Krippendorff的alpha中获得了截然不同的结果。 r使用irr包。

数据和代码：

x<-matrix(c(4.5,5,5,5,5,5,5,5),nrow=2)
y<-matrix(c(4.5,4,5,5,5,5,5,5),nrow=2)
kripp.alpha(x,"ordinal")

kripp.alpha(y,"ordinal")

结果：

> kripp.alpha(x,"ordinal")

 Subjects = 4 
   Raters = 2 
    alpha = 0 

> kripp.alpha(y,"ordinal")
 Krippendorff's alpha

 Subjects = 4 
   Raters = 2 
    alpha = 0.964

我最终希望使用Krippendorffs alpha，因为我希望将2个评分者与更大的评分者进行比较。

非常感谢任何建议，指导或参考。

Answer 1

仔细检查您的对象名称或通话中的拼写错误。这两者都产生相同的α值。 kripp.alpha不是随机的（相同的输入会产生相同的结果）。

x<-matrix(c(4.5,4,5,5,5,5,5,5),nrow=2)
y<-matrix(c(4.5,4,5,5,5,5,5,5),nrow=2) 

y_kripp_alpha <- irr:::kripp.alpha(y, "ordinal")
x_kripp_alpha <- irr:::kripp.alpha(x, "ordinal")

y_kripp_alpha$value == x_kripp_alpha$value
# [1] TRUE

事实上，每个组件都是相同的。

krippendorffs alpha confusion - “irr”包

1 个答案: