如何确定语义搜索引擎的准确性？

Question

我堂兄创建了一个语义搜索引擎，他声称他的搜索引擎是最准确的。

我见过很多语义搜索引擎，它们对我来说都是一样的，因为它们不是根据你输入的关键字给你的结果。

因此，如果您正在创建语义搜索引擎，如何确定其结果的准确性？

Answer 1

实际上，萨诺德的建议并不遥远。

你通常要做的是带走一大群人并让他们尝试一堆标准查询。或者，如果您想让实验更公平，您可以让每个用户选择自己的查询以避免任何偏见的指责（因为您可以选择您知道您的引擎擅长回答的标准查询）。

对于每个查询，用户将查看前10个左右的结果，并说明他们是否认为每个结果都是相关的（您可能希望让用户按比例评分而不是仅是/否）。

然后，对于每个查询，您可以计算准确度分数，具体取决于您设置实验的确切方式Precision and Recall可能是最合适的衡量标准，尽管这些措施依赖于您可能不一定拥有的已知预期答案。计算简单的百分比准确度可能更简单，更合适。

要确定您的搜索引擎是否比竞争对手更好，您可以让相同的人在相同的搜索引擎上执行相同的查询。完成此操作后，您可以计算并比较搜索引擎与您自己的分数。