如何计算&使用matlab绘制FAR / FRR值的等误差率(EER)

时间:2015-02-24 18:24:38

标签: matlab biometrics

我对FAR / FRR有以下值。我想计算EER率然后用matlab绘制。

FAR              FRR
19.64            20
21.29            18.61
24.92            17.08
19.14            20.28
17.99            21.39
16.83            23.47
15.35            26.39
13.20            29.17
7.92             42.92
3.96             60.56
1.82             84.31
1.65             98.33
26.07            16.39
29.04            13.13
34.49            9.31
40.76            6.81
50.33            5.42
66.83            1.67
82.51            0.28

是否有任何matlab函数可用于执行此操作。有人可以向我解释一下。感谢。

2 个答案:

答案 0 :(得分:6)

让我试着回答你的问题

1)对于您的数据,EER可以是[19.64,20]

的平均值/最大值/最小值

1.1)EER的想法是尝试通过在虚警率(FAR)之间找到相等(如果不相等然后至少几乎相等或具有最小距离)来测量相对于另一个系统的系统性能(越低越好) )和假拒绝率(FRR,或丢失率)。

参考你的数据,[19.64,20]给出最小距离,因此它可以用作EER,你可以取这两个值的均值/最大/最小值,但是因为它意味着比较系统,所以确保其他系统使用相同的方法(平均值/最大/分钟)来选择EER值。

如果存在大量数据,则可以忽略平均值/最大值/最小值之间的差异。在一些说话人验证任务中,将有100k数据样本。

2)要了解EER,请自​​行更好地计算,以下是:

您需要了解的两件事:

A)每个测试用例的系统评分(试验)

B)每次试验的真/假

在你有A和B后,你可以创建[试验,得分,真/假]对,然后按分数值对其进行排序,然后通过分数循环,例如从min->最大。在每个循环中,假设阈值是该分数并计算FAR,FRR。循环通过得分后,找到FAR,FRR的“相等”值。

对于代码,您可以在函数processDataTable2

中引用我的pyeer.py.

https://github.com/StevenLOL/Research_speech_speaker_verification_nist_sre2010/blob/master/SRE2010/sid/pyeer.py

此功能是为NIST SRE 2010评估而编写的。

4)还有其他类似于EER的措施,例如minDCF,它只能使用FAR和FRR的权重。您可以参考http://www.nist.gov/itl/iad/mig/sre10results.cfm

的“效果指标”

5)您也可以在https://sites.google.com/site/bosaristoolkit/参考此软件包http://www.itl.nist.gov/iad/mig/tools/和DETware_v2.1.tar.gz,以便在Matlab中计算和绘制EER

在DETWare_v2.1中绘图

Pmiss=1:50;Pfa=50:-1:1;
Plot_DET(Pmiss/100.0,Pfa/100.0,'r')

enter image description here

答案 1 :(得分:1)

FAR(t)和FRR(t)由阈值t参数化。它们是累积分布,因此它们应该是单调的。您的数据未显示为单调,因此如果确实是FAR和FRR,则测量不是按顺序进行的。但为了清楚起见,我们可以订购:

    FAR     FRR
1   1.65    98.33
2   1.82    84.31
3   3.96    60.56
4   7.92    42.92
5   13.2    29.17
6   15.35   26.39
7   16.83   23.47
8   17.99   21.39
9   19.14   20.28
10  19.64   20
11  21.29   18.61
12  24.92   17.08
13  26.07   16.39
14  29.04   13.13
15  34.49   9.31
16  40.76   6.81
17  50.33   5.42
18  66.83   1.67
19  82.51   0.28

这是为了增加FAR,假定距离得分;如果你有相似性得分,那么FAR将按递减顺序排序。

循环FAR,直到它大于FRR,这发生在第11行。然后插入第10行和第11行之间的交叉值。这是你的错误率相等。