还在被人脸识别准确率指标欺骗吗?


导读
随着硬件性能的提升和人脸数据量的增大 , 人脸识别也越来越成熟 , 商业应用也越来越多 。 经常看到很多文章说 , 人脸识别算法做了什么什么改进在LFW上的识别准确率达到99.6%以上 。
实际上 , 仅仅一个准确率指标是无法衡量一个模型的性能 , 准确率无法体现出人脸识别中最重要的指标通过率和拒绝率 , 通过率包含两种情况同一个人通过的概率和不同人通过的概率 , 拒绝率包含两种情况不同人被拒绝的概率和同一个人被拒绝的概率 , 通常我们希望模型在不同人通过率越低的情况下同一个人通过率越高越好 , 下面的评估指标主要也是基于这两个进行演化的 。
人脸识别
现在人脸识别的应用多种多样 , 如人脸考勤、实名验证、身份验证、人脸支付以及天网系统等 。 实际上底层的实现技术主要还是依靠人脸验证和人脸搜索 , 人脸验证也称为1:1人脸匹配 , 人脸搜索也称为1:N人脸匹配 。
首先我们从包含人脸的图片中通过人脸检测提取出人脸的位置信息以及人脸关键点 , 然后通过仿射变换结合人脸关键点进行人脸对齐 , 获取到对齐后的人脸图片 。 再将人脸图片通过人脸识别模型进行人脸特征提取 , 提取出来的特征是一个高维向量 , 这个向量的维度通常是128、256、512、1024甚至更高 。
判断两张人脸图片是否相似的度量主要有两个指标欧式距离和余弦相似度 。 先通过人脸识别模型将人脸图片转换为特征向量 。 欧式距离顾名思义就是计算两个向量的欧式距离 , 所以两个向量的欧式距离越小表示他们越相似 。 余弦相似度就是计算两个向量的夹角的余弦值 , cosθ的取值范围在[?1,1] , 我们可以对其进行归一化操作到[0,1]通过0.5+0.5?cosθ来实现 , 余弦相似度越大表示是同一个人的概率越大 。
无论是1:1人脸匹配还是1:N人脸匹配 , 我们都需要先确定一个阈值(欧式距离或相似度) , 通常人脸相似的度量指标都是用的相似度 , 我们后面所说的阈值其实也就是一个相似度阈值 。 通过人脸数据集根据指定通过率或拒绝率来确定阈值 , 大于这个阈值表示为同一个人否则不是同一个人 。
人脸验证
1:1人脸验证(verification) , 比对两张图片是否为同一个人 , 常见的应用有火车站人脸闸机实名验证、手机人脸解锁等 。 通过判断比对图片的相似度是否大于阈值 , 常用的性能评估指标有如下几个

  • FARFAR(False Accept Rate)认假率 , 表示错误的接受比例 , 与FPR(False Positive Rate)假正例率等价 , 指不是同一个人却被错误的认为是同一个人占所有不是同一个人比较的次数 , 计算公式如下

还在被人脸识别准确率指标欺骗吗?
本文插图
关于详细的混淆矩阵(TP、TN、FP、FN)说明 , 请参考我的另一篇文章分类算法中常用的评估指标
  • TARTAR(True Accept Rate)表示正确的接受比例 , 与TPR(True Positive Rate)真正率等价 , 指是同一个人且被正确的认为是同一个人占所有同一个人比较的次数 , 计算公式如下

还在被人脸识别准确率指标欺骗吗?
本文插图
  • FRRFRR(False Reject Rate)错误拒绝率 , 与FNR(False Negative Rate)假负率 , 指是同一个人但被认为不是同一个人占所有是同一个人比较的次数 , 计算公式如下

还在被人脸识别准确率指标欺骗吗?
本文插图
在一些1:1的人脸识别比赛中 , 也会有一些其它的评估指标 , FMR(false match rate)和FNMR(false non-match rate) 。 FMR指错误匹配率等价于FAR , FNMR指错误的不匹配率等价于FRR 。
【还在被人脸识别准确率指标欺骗吗?】


推荐阅读