还在被人脸识别准确率指标欺骗吗？( 二 )

有时候还会看见类似于FNMR @ FMR = 0.000001 ，这种表达式所指示的是先在数据集上计算出FMR = 0.000001时的阈值，然后再根据这个阈值计算FNMR 。类似于这种TAR=0.998@FAR=1e-6 ，表示的是当不是同一个人通过率为1e-6时，相同人的通过率为99.8% 。对于1:1人脸验证来说当FAR越低的情况下， TAR越高越好
人脸搜索
1:N人脸识别评估分为两种情况开集识别(open-set identification)和闭集识别(close-set identification) 。
在评估1:N的人脸识别时我们需要三组图像， galleryG(底库，已注册的人脸库) ， probe(探针，待识别的人脸图像) ， probe分为Pn和Pg? ， Pn?中的人脸照片不在gallery中，被称为imposter ， Pg?中的人脸照片在gallery中，被称为genius 。
开集识别
开集识别(open-set identification)：开集识别需要解决的问题是判断一个probePj?在不在gallery中，如果在这个人是谁。 Pj?可以在gallery中，也可以不在。
假设galleryG={g1?,g2?.....gn?} ， gi?表示gallery中的一个人，待测人脸Pj?与每个gi?计算一个相似度，用Sji?表示， Sji?表示两张人脸图片是同一个人的概率。我们将G中的每一个人与Pj?计算相似度，得到一个集合S{sj1?,sj2?.....sjn?} ，对集合S进行由大到小的排序(用的欧式距离就是从小到大排序) 。假定与Pj?在gallery中对应人的是g? ，定义rank(Pj?)=n表示Pj?与g?的相似度排在第n位， rank1也称为topmatch 。
对于刷脸支付就是一个top1的open-set identification ，人脸身份验证就是一个topk的open-set identification 。
闭集识别
闭集识别(close-set identification)：闭集识别需要解决的问题是，在gallery中找到probePj? ， Pj?属于gallery中。与开集识别一样，闭集识别关心的也是在topk中是否包含正确的识别结果。
评估指标
下面的评估指标在开集识别和闭集识别中都适用

DIR(Detection and Identification Rate)：指Pj?∈Pg?与G中的真实的结果s?之间的相似度大于τ且大于其他所有与Pj?不是同一个人的相似度在Pg?中所占的比例， DIR衡量的是库内人员的通过性能。计算公式如下

本文插图
下面我们来举例说明一下
假设G中有A、B、C三个人的人脸信息每个人有一张照片， Pj是属于C的另一张人脸照片，如果Pj与A、B、C的相似度分别为0.5、0.6、0.9 ， τ为0.7 ，那么此时才算是匹配正确。如果Pj与C的相似度为0.68<τ ，会被认为是库外人员从而导致漏匹配。如果Pj与A、B、C的相似度为0.6、0.8、0.78 ，那么此时Pj的top1匹配应该是B ，因为C与Pj的相似度排在第二位是rank(Pj)=2 ，此时Pj匹配上了错误的人。

FAR(False Alarm Rate)：指Pj?∈Pn?与G中最相似的人相似度大于τ在Pn?中所占的比例， FAR衡量的是对库外人脸的拒绝性能也是人脸识别系统安全性的保证。计算公式如下