我有注释矩阵，其描述如下： 3个注释器， 3类 206个主题
数据存储在numpy.ndarray变量z中：
array([[ 0., 2., 1.],
[ 0., 2., 1.],
[ 0., 2., 1.],
[ 0., 2., 1.],
[ 1., 1., 1.],
[ 0., 2., 1.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.],
[ 0., 3., 0.]])
可以看出，所有三个注释器在206个注释中有200个是针对相同类别的。现在实施Fleiss Kappa：
from statsmodels.stats.inter_rater import fleiss_kappa
fleiss_kappa(z)
0.062106000466964177
为什么在大多数类别（200/206）中为同一类别添加注释却分数如此之低？
答案 0 :(得分：0)
This solution可以满足您的目的。这是适合您的代码段，可产生kappa得分0.98708。
import krippendorff
arr = [[ 0, 2, 1],
[ 0, 2, 1],
[ 0, 2, 1],
[ 0, 2, 1],
[ 1, 1, 1],
[ 0, 2, 1],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0],
[ 0, 3, 0]]
kappa = krippendorff.alpha(arr)
print(kappa)
它与Python 3.4+兼容，这是您需要安装的依赖项
pip install numpy krippendorff
答案 1 :(得分：0)
我还想计算 Fleiss 的 kappa 或 krippendorff。 ut，krippendorff 的值比 Fleiss 低很多，它是 0.032，而我的 fleiss 是 0.49。
我有 3 个类别，每个类别由 3 个注释者评分。在 52% 的情况下，3 名注释者同意同一类别，43% 两名注释者同意一个类别，只有 5% 的情况下，每个注释者选择不同的类别。是不是协议太低了，尤其是用krippendorff？