标签： testing nlp evaluation sentence-similarity
我的目标是对检测短句重复项的不同文本相似性方法进行基准测试。我应用了不同的方法，简单的编辑距离以及语义文本相似性技术。我准备了一个黄金数据集，其中包含500个我认为重复的文本对。当我应用不同的文本相似性时，每对的得分都在0到1之间。对于使用什么指标来比较这些技术的性能，以及使用什么阈值分数来区分重复项和不重复项，我感到困惑。
谢谢！