在信息检索的背景下,像this one这样的论文谈论了聚合精确回忆曲线(参见图3)。这些曲线和Precision-Recall曲线之间有什么区别?本文的作者似乎在两者之间产生了差异,因为他们将图4中所示的曲线描述为精确回忆曲线而不是聚合精确回忆曲线(参见第4.5节)
答案 0 :(得分:1)
汇总与非汇总P& R曲线
通常,精确回忆曲线和聚合精度回忆曲线之间存在差异。在给定系统的情况下,您通常会为单个查询(本文中的查询=实体)创建精确回忆曲线 - 通过对排名进行切片并计算每个点的精度和回忆,您可以绘制此曲线。
当您有几百个查询(实体)时,就像在论文中一样,您不能显示几百个图表(人类也不能解释它们......),所以您要做的是平均曲线不知何故。他们将此称为"聚合"这项工作中的精确召回曲线。有点不幸的是,他们没有指定他们的聚合方法,但假设他们使用均值是合理的,这对于这些曲线来说非常典型。我喜欢在这种情况下提到我曾经用过的软件包,因为很难确切知道如何在查询中对召回进行分组。
关于您更具体的问题(关于图3和4):
他们实际上并没有在本文中图3和图4之间产生差异;他们在参考图4时不那么精确。在4.1节(数据集和评估指标)的最后,他们提到了他们
在我们的实验中报告聚合曲线精度/召回曲线和Precision @ N(P @ N)
这是典型的论文惯例。除非另有说明,否则您可以假设图形和度量指的是像这样的设置部分中描述的那些。
答案 1 :(得分:0)
考虑了多种关系。对于它们中的每一个,我们根据置信度得分(在网络的输出中编码)对从测试集中发现的实例进行排序,并报告精度和召回值。对所有关系类型完成此操作后,将对精度和调用曲线进行平均,以便最终我们只有一个精确调用值列表,这些值由检索数量参数化。本文未明确说明计算平均值的准确程度。该列表的图是所谓的聚合精确回忆曲线。感谢@John Foley!