我堂兄创建了一个语义搜索引擎,他声称他的搜索引擎是最准确的。
我见过很多语义搜索引擎,它们对我来说都是一样的,因为它们不是根据你输入的关键字给你的结果。
因此,如果您正在创建语义搜索引擎,如何确定其结果的准确性?
答案 0 :(得分:3)
实际上,萨诺德的建议并不遥远。
你通常要做的是带走一大群人并让他们尝试一堆标准查询。或者,如果您想让实验更公平,您可以让每个用户选择自己的查询以避免任何偏见的指责(因为您可以选择您知道您的引擎擅长回答的标准查询)。
对于每个查询,用户将查看前10个左右的结果,并说明他们是否认为每个结果都是相关的(您可能希望让用户按比例评分而不是仅是/否)。
然后,对于每个查询,您可以计算准确度分数,具体取决于您设置实验的确切方式Precision and Recall可能是最合适的衡量标准,尽管这些措施依赖于您可能不一定拥有的已知预期答案。计算简单的百分比准确度可能更简单,更合适。
要确定您的搜索引擎是否比竞争对手更好,您可以让相同的人在相同的搜索引擎上执行相同的查询。完成此操作后,您可以计算并比较搜索引擎与您自己的分数。