测试我的回指分辨率工具

时间:2013-09-04 16:56:00

标签: testing resolution

我正在构建一个回指解析工具。我已经做了很多文献综述,我对构建基本工具应该做些什么有很好的了解。但问题是,我该如何测试它。我找不到任何可以测试它的注释语料库。有人可以建议我如何测量我的工具的精确度和召回率。

1 个答案:

答案 0 :(得分:1)

从这里: http://www.mitpressjournals.org/doi/pdf/10.1162/COLI_a_00152

第4.1节 OntoNotes-DEV
- 提供的OntoNotes v4.0的开发分区 CoNLL2011共享任务(Pradhan等,2011)。 OntoNotes试验
- 测试分区中提供的OntoNotes v4.0 CoNLL-2011共同任务。
ACE2004-Culotta试验 - 为2004保留的ACE 2004语料库的分区 通过几项先前的研究进行测试(Culotta等人,2007; Bengtson和Roth 2008; Haghighi和Klein 2009)。
ACE2004-nwire - ACE 2004语料库的新闻线子集,由...使用 Poon和Domingos(2008)以及Haghighi和Klein(2009)进行测试 MUC6试验 - 从第六个消息理解测试语料库 会议(MUC-6)评估。

您可以在此处找到MUC详细信息 http://www-nlpir.nist.gov/related_projects/muc/muc_data/muc_data_index.html

只需查看参考文献中实验部分的开头部分。你一定会找到链接。如果你看一下最常用的那些,你会找到你的数据集。