trec_eval如何计算平均精度（MAP）？

Question

我正在使用TREC_EVAL来评估搜索引擎。我想知道它是如何计算平均平均精度（MAP）的。我确信它不会计算平均精度（AP）的简单平均值。这似乎是一个加权算术，但我无法理解使用了哪些权重。

Answer 1

MAP确实是单个主题的AP分数的简单算术平均值。 （但请记住，单个主题的AP是通过所有相关文档计算出来的。有一个经常使用的错误AP定义，它只计算相关检索文档的“AP”，但这是一个荒谬的衡量标准。它奖励检索较少的相关内容。）

每个TREC程序附录的“共同措施”部分都有最常用的TREC评估措施的定义。 TREC会议记录在TREC网站的出版物部分trec.nist.gov。

Ellen Voorhees TREC项目经理 NIST