我正在使用评分者之间的协议来评估我的评分数据集中的协议。我有一组N个示例，分布在M个评估者中。并非所有评分者都对每个项目都进行了投票，因此我以N x M票为上限。
因此，假设评估者i对给定的N和N=5在M=3数组中的位置j给出j-th项的以下投票是rater[1] = [1,3,0,5,5]
rater[2] = [0,3,1,5,2]
rater[3] = [1,2,0,5,3]
项：
0其中j表示投票人未对位置rater[i] = [0, 0, ...,j, ..., 0]
上的项目表达任何选择。
现在，我不能使用Cohen的Kappa，因为它需要具有几乎两个，而我想使用NLTK的Alpha Krippendorff或multi-kappa。
在我的数据集中
投票最终可能是稀疏的，即有些投票项很少，因此就像最坏的情况一样。
j因此，项目i在整个数据集中可能仅由评估人M投一票。
N的数量少于项目M < N，insert into @t1的数量。对于NLTK metrics包实施，哪种方法最好？