Question

我使用一些字符串匹配方法在两个文本之间列出了相似度得分similarity_scores。我手动添加actual_value以显示文本是否确实相似。是否有任何统计方法可以找到超过similarity scrore的阈值？

similarity_scores   actual_value
1.0 1
1.0 1
1.0 1
1.0 1
0.99    1
0.99    1
0.99    1
0.989   1
0.944   1
0.944   1
0.941   1
0.941   1
0.941   1
0.941   1
0.941   0
0.934   0
0.933   0
0.933   1
0.88    1
0.784   0
0.727   0
0.727   0
0.714   0
0.714   1
0.714   0
0.714   0
0.711   0
0.711   0
0.707   0
0.707   0
0.696   0
0.696   0
0.696   0
0.696   0

Answer 1

确定特定分类对文档检索有多好的常用方法是使用precision and recall值。在您的示例中，对于给定的阈值 [1] ：

精确度告诉您阈值以上的文档百分比是用1值手动标记的，或者

number of documents above the threshold tagged 1
------------------------------------------------
    number of documents above the threshold

召回告诉您使用1标记的文档的百分比高于阈值：

number of documents above the threshold tagged 1
------------------------------------------------
         number of documents tagged 1

在您给出的示例中，您可以为每个可能的阈值计算这些值，但唯一相关的值是我们在0和1序列之间转换的值，因此我只会查看这些点：

1.0 1
1.0 1
1.0 1
1.0 1
0.99    1
0.99    1
0.99    1
0.989   1
0.944   1
0.944   1 TH=0.944 #1's=10; #0's=0
0.941   1
0.941   1
0.941   1
0.941   1
0.941   0 TH=0.941 #1's=14; #0's=1
0.934   0
0.933   0
0.933   1 TH=0.933 #1's=15; #0's=3
0.88    1 TH=0.880 #1's=16; #0's=3
0.784   0
0.727   0
0.727   0
0.714   0
0.714   1
0.714   0
0.714   0 TH=0.714 #1's=17; #0's=9
0.711   0
0.711   0
0.707   0
0.707   0
0.696   0
0.696   0
0.696   0
0.696   0

标记为1的文档总数为17。

因此，对于这5个可能的阈值TH，我们有precision和recall，如下所示：

TH = 0.944
    precision = 10/10       = 1.000
    recall = 10/17          = 0.588
TH = 0.941
    precision = 14/15       = 0.933
    recall = 14/17          = 0.824
TH = 0.933
    precision = 15/18       = 0.833
    recall = 15/17          = 0.882
TH = 0.880
    precision = 16/19       = 0.842
    recall = 16/17          = 0.941
TH = 0.714
    precision = 17/26       = 0.654
    recall = 17/17          = 1.000

您从这里使用这些值所做的事情在很大程度上取决于您的数据以及结果对假阴性或误报的敏感程度。例如，如果您想确保尽可能少的误报，则需要使用TH = 0.941甚至TH = 0.944的阈值。

如果您想平衡精确度和召回率，您可能希望使用TH = 0.880，因为两个度量都会从高于它的阈值增加，并且精度远低于低于它的阈值。这是一种相当主观的方式，但我们可以使用F-measure在一定程度上自动化它。特别是，我会使用F1-measure，但你可以找到一个适合你的数据。

F1-measure定义为：

F1 = 2 * precision * recall
         ------------------
         precision + recall

使用上面的数字我们得到：

TH = 0.944   F1 = 2*1.000*0.588/1.000+0.588 = 0.741
TH = 0.941   F1 = 2*0.933*0.824/0.933+0.824 = 0.875
TH = 0.933   F1 = 2*0.833*0.882/0.833+0.882 = 0.857
TH = 0.880   F1 = 2*0.842*0.941/0.842+0.941 = 0.889
TH = 0.714   F1 = 2*0.654*1.000/0.654+1.000 = 0.791

正如您所看到的，通过F1测量，TH=0.880排在最前面，而TH=0.941不会太落后，给出非常相似的结果，可以手动检查可能的阈值。

[1] 为了澄清，我定义阈值，使相似度得分大于或等于阈值被视为以上阈值和相似度得分严格低于阈值被视为低于。

一维数据中的阈值

1 个答案: