使用TREC和' K'计算相对回忆时。汇总,总相关文件是否反映了每个查询所有参与系统的相关文件,还是所有查询?
这种做法是否会使召回计算无效,比如我在两个系统之间有50个顶级文件,但总共有75个相关文件,那么无论这两个系统有多好,它们永远无法达到100%召回?
答案 0 :(得分:0)
使用TREC和' K'计算相对回忆时。汇总,总相关文件是否反映了每个查询所有参与系统的相关文件,还是所有查询?
这组相关文档包含被人类访问者判断为相关的文档,这些文档被要求查看每个参与系统检索到的前100个文档的联合。请注意单词 union 上的压力,表示访问器未按任何特定顺序显示此设置。所以,这个池确实是一个集合(而不是有序集合)。
每个查询的相关文档集都不同。所以你可以想象如果 R 表示相关的文档集,它有一个参数 q (查询)。所以,实际上你有 R(q)而不只是 R 。
这种做法是否会使召回计算无效,比如说我在两个系统之间有50个顶级文件,但总共有75个相关文件,那么无论这两个系统有多好,他们永远无法达到100%召回? / p>
原则上,如果他们每次至少检索75份文件,他们可以实现100%的召回。显然,如果你被允许检索10个文件,并且总共有20个相关文件,那么最多。回想一下,你只能 50%。