报告在文本中找到位置的模型的准确性时,应使用哪种相似性度量?

时间:2019-05-09 08:55:38

标签: python similarity

我创建了一个Python模型,该模型可以从新闻文章中查找事故发生的地点及其地理位置数据。我认为它做得相当不错,但是我需要说出效果的准确性,即效果如何。问题是:“ 我们可以在新闻文章中以哪种精度找到事故发生的位置?

例如,在一篇文章中,我的模型找到以下位置:

Stationsplein, Zwolle (52.506100, 6.090250)
Oosterlaan, Zwolle (52.504960, 6.093270)
Westerlaan, Zwolle (52.507410, 6.086830)
N50, Kampen (52.504490, 5.980510)

在这种情况下,不应找到最后一个位置,因为它不是事故发生的位置。因此100%正确的输出应该是:

Stationsplein, Zwolle (52.506100, 6.090250)
Oosterlaan, Zwolle (52.504960, 6.093270)
Westerlaan, Zwolle (52.507410, 6.086830)

我不确定如何测量此模型的准确性。这不是一个二进制分类任务,所以我不能使用诸如准确性,精确度,召回率和f1之类的任何度量。我已经研究过类似Jaccard的相似性,但这似乎也不适用。我当然可以说上面的示例准确率为75%(3/4正确),但这似乎有些局限。到目前为止,我还没有找到其他适用的准确性度量。欢迎任何建议。

0 个答案:

没有答案