我正在相互评估几个开源搜索引擎。我想使用TREC数据集合(如WT10G或企业数据集合)来实现这一目标......
但似乎大多数数据集非常昂贵(WT10G为500英镑)。这就是为什么我想询问是否有免费的TREC数据集合可以与Lucene这样的开源搜索引擎一起使用?如果没有,是否有其他数据集合具有相同的TREC质量但是免费?
答案 0 :(得分:3)
古老的SMART系统带有一堆带有标记查询的测试集合,例如one compiled from CACM papers。从任何目的分发(修改)版本的许可意义上讲,这些集合不一定是免费的,但它们是免费提供的。您可能需要做一些工作来破译文件格式,但它们是纯文本并记录在案。
MS Research has also released test corpora用于非商业用途,实际上用于学习排名实验,但可能对更一般的IR开发有用。