我正在建立一个问题分类/回答语料库，作为我硕士论文的一部分。我正在考虑评估关于评估者间协议/可靠性的预期答案类型分类，我想知道：有没有人知道任何可以做到这一点的体面（最好是免费）Java API？
我有理由确定我所需要的只是Fleiss'Kappa和Krippendorff的Alpha。
Weka在它的评估包中提供了一个kappa统计信息，但我认为它只能评估一个分类器，而我还没有到那个阶段（因为我还在构建数据集和类）。
感谢。
答案 0 :(得分：1)
查看QDAP（匹兹堡大学）开源代码。
答案 1 :(得分：1)
我将Fleiss'kappa的matlab实现移植到Python / numpy。
http://code.google.com/p/hydrat/source/browse/src/hydrat/common/fleiss.py
实现并不困难，也许您可以自己将其移植到Java。
答案 2 :(得分：0)
我无法及时找到现有的Java API进行研究，所以我最终实现了Fleiss的Kappa和Krippendorff的Alpha。我们的研究初步结果可以找到in this paper。