使用brat注释文件计算Inter Annotator Agreement

Question

使用三个注释器，我们一直在使用brat（http://brat.nlplab.org/）来注释三个类别的文本样本：PERS，ORG，GPE。我想计算该样本的Inter Annotator Agreement。但是，我似乎没有找到一种简单的方法来做到这一点。我试过这个Python包：https://github.com/savkov/BratUtils，但似乎失败了。

对于每个带注释的样本，我有三个.ann文件，我想为其计算Inter Annotator Agreement。文件中的数据如下所示：

for

有没有一种简单的方法来计算Inter Annotator Agreement（使用Python或基于Web的工具）？

Answer 1

我设计了一种用于计算注释者协议的工具。它主要用于Doccano，但只需进行少量调整，便可以计算任何内容。请看一下：https://github.com/vwoloszyn/diaa/