我创建了一个Python模型,该模型可以从新闻文章中查找事故发生的地点及其地理位置数据。我认为它做得相当不错,但是我需要说出效果的准确性,即效果如何。问题是:“ 我们可以在新闻文章中以哪种精度找到事故发生的位置?”
例如,在一篇文章中,我的模型找到以下位置:
Stationsplein, Zwolle (52.506100, 6.090250)
Oosterlaan, Zwolle (52.504960, 6.093270)
Westerlaan, Zwolle (52.507410, 6.086830)
N50, Kampen (52.504490, 5.980510)
在这种情况下,不应找到最后一个位置,因为它不是事故发生的位置。因此100%正确的输出应该是:
Stationsplein, Zwolle (52.506100, 6.090250)
Oosterlaan, Zwolle (52.504960, 6.093270)
Westerlaan, Zwolle (52.507410, 6.086830)
我不确定如何测量此模型的准确性。这不是一个二进制分类任务,所以我不能使用诸如准确性,精确度,召回率和f1之类的任何度量。我已经研究过类似Jaccard的相似性,但这似乎也不适用。我当然可以说上面的示例准确率为75%(3/4正确),但这似乎有些局限。到目前为止,我还没有找到其他适用的准确性度量。欢迎任何建议。