计算相对回忆

时间:2018-04-19 14:41:17

标签: elasticsearch information-retrieval precision-recall

使用TREC和' K'计算相对回忆时。汇总,总相关文件是否反映了每个查询所有参与系统的相关文件,还是所有查询?

这种做法是否会使召回计算无效,比如我在两个系统之间有50个顶级文件,但总共有75个相关文件,那么无论这两个系统有多好,它们永远无法达到100%召回?

1 个答案:

答案 0 :(得分:0)

  

使用TREC和' K'计算相对回忆时。汇总,总相关文件是否反映了每个查询所有参与系统的相关文件,还是所有查询?

这组相关文档包含被人类访问者判断为相关的文档,这些文档被要求查看每个参与系统检索到的前100个文档的联合。请注意单词 union 上的压力,表示访问器未按任何特定顺序显示此设置。所以,这个池确实是一个集合(而不是有序集合)。

每个查询的相关文档集都不同。所以你可以想象如果 R 表示相关的文档集,它有一个参数 q (查询)。所以,实际上你有 R(q)而不只是 R

  

这种做法是否会使召回计算无效,比如说我在两个系统之间有50个顶级文件,但总共有75个相关文件,那么无论这两个系统有多好,他们永远无法达到100%召回? / p>

原则上,如果他们每次至少检索75份文件,他们可以实现100%的召回。显然,如果你被允许检索10个文件,并且总共有20个相关文件,那么最多。回想一下,你只能 50%