如何使用trec_eval评估搜索/检索引擎？

Question

是否有任何机构使用过TREC_EVAL？我需要一个“Trec_EVAL for dummies”。

我正在尝试评估一些搜索引擎来比较Recall-Precision，排名质量等参数，以用于我的论文工作。我找不到如何使用TREC_EVAL向搜索引擎发送查询并获得可与TREC_EVAL一起使用的结果文件。

Answer 1

基本上，对于trec_eval，你需要一个（人类生成的）基础事实。必须采用特殊格式：

query-number 0 document-id relevance

给定像101Categories（wikipedia entry）这样的集合，就像

Q1046   0   PNGImages/dolphin/image_0041.png    0
Q1046   0   PNGImages/airplanes/image_0671.png  128
Q1046   0   PNGImages/crab/image_0048.png   0

查询号码因此识别查询（例如，来自特定类别的图片以找到类似的图片）。然后，您的搜索引擎的结果将转换为

query-number    Q0  document-id rank    score   Exp

或实际上

Q1046   0   PNGImages/airplanes/image_0671.png  1   1   srfiletop10
Q1046   0   PNGImages/airplanes/image_0489.png  2   0.974935    srfiletop10
Q1046   0   PNGImages/airplanes/image_0686.png  3   0.974023    srfiletop10

如here所述。您可能必须调整“document-id”的路径名。然后，您可以计算标准指标trec_eval groundtrouth.qrel results。 trec_eval --help应该为您提供一些想法，以便选择正确的参数来使用论文所需的测量值。

trec_eval不会发送任何疑问，您必须自己准备。 trec_eval仅对分析给出了分析和结果。

可以找到一些基本信息here和here。