测量精度和召回率

Question

我们正在构建一个文本搜索解决方案，并希望每次添加新文档类型时都能测量系统的精度和召回率。通过阅读这里的一些帖子，听起来像基于机器学习的解决方案是要走的路。专家可以对此发表评论吗？然后，我们将为我们的团队添加机器学习人员。

Answer 1

获取F1-score的唯一方法是需要有关正确类的知识，通过评估查询获得的所有样本的等级，并且还需要评估查询。

• 任何机器学习都需要大量的手工工作来提供样本和/或查询。如此之大，以至于它不会随时拯救你。

• 此评估的另一个不好的方面是与学习相关的内在错误。它将随着搜索引擎索引的增长和所需示例的数量而变化。你永远不会得到很好的评价。

• 忘记机器学习以评估搜索引擎。 手动构建您的测试查询和样本，直到它变得大而可靠。

• 如果您真的想在系统中学习机器，那么您应该查看查询预处理。通过另一种方式获取关于查询的一些元信息（你说SVN，为什么不呢？）通常对性能有好处，虽然它没有改变结果，你可以使用相同的样本进行端到端的评估。 这就是几年前我做过的事情，但天然的分类符是天然的分类。