如何检查UIMA Annotators的效率？

Question

我在UIMA制作了一些注释器，现在，我想检查它们的效率。是否有标准化的方法来衡量注释器的性能？

Answer 1

UIMA本身并不能直接支持比较注释器并根据黄金标准对其进行评估。

然而，有各种工具/实现在UIMA之上提供这样的功能，但通常在特定工具的范围内，例如：

• U-Compare支持运行多个注释器执行相同的操作并比较其结果

• WebAnno是一个交互式注释工具，它使用UIMA作为后端，支持将来自多个用户的注释进行比较。代码中有一个名为“CasDiff2”的类，它生成差异并在后台将它们提供给DKPro Statistics以进行实际协议计算。不幸的是，CasDiff2无法与WebAnno（尚未）分开使用。

披露：我在WebAnno团队中并在那里实施了CasDiff2。