计算相对回忆

Question

使用TREC和＆＃39; K＆＃39;计算相对回忆时。汇总，总相关文件是否反映了每个查询所有参与系统的相关文件，还是所有查询？

这种做法是否会使召回计算无效，比如我在两个系统之间有50个顶级文件，但总共有75个相关文件，那么无论这两个系统有多好，它们永远无法达到100％召回？

Answer 1

  

使用TREC和＆＃39; K＆＃39;计算相对回忆时。汇总，总相关文件是否反映了每个查询所有参与系统的相关文件，还是所有查询？

这组相关文档包含被人类访问者判断为相关的文档，这些文档被要求查看每个参与系统检索到的前100个文档的联合。请注意单词 union 上的压力，表示访问器未按任何特定顺序显示此设置。所以，这个池确实是一个集合（而不是有序集合）。

每个查询的相关文档集都不同。所以你可以想象如果 R 表示相关的文档集，它有一个参数 q （查询）。所以，实际上你有 R（q）而不只是 R 。

  

这种做法是否会使召回计算无效，比如说我在两个系统之间有50个顶级文件，但总共有75个相关文件，那么无论这两个系统有多好，他们永远无法达到100％召回？ / p>

原则上，如果他们每次至少检索75份文件，他们可以实现100％的召回。显然，如果你被允许检索10个文件，并且总共有20个相关文件，那么最多。回想一下，你只能 50％。