检测|人脸识别漏洞频出?这个开源静默活体检测算法,超低运算量工业可用( 二 )
小视科技团队使用自研的模型剪枝方法 ， 将 MoboileFaceNet 的 flops 从 0.224G 降低到了 0.081G ， 剪枝的网络结构如图 3 所示 。 模型观测误检率在十万一对应的真脸通过率 ， 在精度没有明显损失的情况下 ， 模型前向运行的速度提升了 40% 。
文章图片
表 1 模型性能对比表
文章图片
图 3 剪枝模型通道示意图
注意力机制
考虑到用于真假脸判别的有效信息不一定完全分布在脸部区域 ， 也有可能在取景画面的任何地方（如边框 ， 摩尔纹等） 。 小视科技团队在 backbone 中加入了 SE（Squeeze-and-Excitation）的注意力模块 ， 动态适应分散的判别线索 ， 热力图如图 4 所示 。 对于假脸 ， 模型更关注于边框信息和屏幕的摩尔纹信息 ， 对于真脸更加关注脸部以及周围的信息 。
文章图片
图 4 活体模型热力图
数据预处理
使用人脸检测器获取图像中的人脸框坐标 ， 按照一定比例 (scale) 对人脸框进行扩边 ， 图 5 展示了部分 patch 的区域 ， 为了保证模型的输入尺寸的一致性 ， 将 patch 区域 resize 到固定尺寸 。
文章图片
图 5 Patch 示例图
傅里叶频谱图
将假脸照片与真脸照片转化生成频域图 ， 对比发现假脸的高频信息分布比较单一 ， 仅沿着水平和垂直方向延伸 ， 而真脸的高频信息从图像的中心向外呈发散状 ， 如图 6 所示 。 根据以上的实验 ， 小视科技团队发现真脸和假脸的傅里叶频谱存在差异 ， 从而引入了傅里叶频谱对模型训练进行辅助监督 。
文章图片
图 6 傅里叶频谱图
基于傅里叶频谱图的辅助网络监督
基于对于真脸和假脸在频域的观察分析 ， 小视科技团队提出了基于傅里叶频谱图进行辅助网络监督的训练方法 ， 整理架构图如图 7 所示 。 网络的主分支采用 Softmax+ CrossEntropy 作为网络的监督 ， 如公式（1）所示 。 其中 ，f_j表示输出类别的第 j 个置信度 ，y_i 表示样本的真实标签 ， N 为训练样本的个数 。
文章图片
小视科技团队采用在线的方式生成傅里叶频谱图 ， 使用 L2 Loss 作为损失函数 。 输入图片的尺寸为 3x80x80 ， 从主干网络中提取尺寸为 128x10x10 特征图 ， 经过 FTGenerator 分支生成 1x10x10 的预测频谱图 F_P。 通过傅里叶变换 ， 将输入图片转化成频谱图 ， 再进行归一化 ， 最后 resize 成 1x10x10 尺寸得到 F_G， 使用 L2 Loss 计算两特征图之间差异 ， 如公式（2）所示 。
文章图片
为了控制 L_FT在训练过程中对梯度的贡献作用 ， 分别引入了
文章图片
平衡两个损失函数L_Softmax和L_FT ， 如公式（3）所示 ， 其中
文章图片
。 在实验中设置
文章图片
。
文章图片
文章图片
图 7 傅里叶频谱辅助监督训练架构图
其他模型策略
使用大体量网络 ResNet34 蒸馏剪枝网络 MiniFASNetV1 和 MiniFASNetV2 ， 精度得到提升 。
使用模型融合的机制 ， 针对于不同输入尺度、不同网络结构以及不同迭代次数的模型进行融合 ， 充分挖掘模型间对分类任务的互补性 ， 提升模型精度 。
实验结果
测试集建立
小视科技团队基于实际的生产场景建立了 100W 量级的测试集 ， 从移动设备的视频流中实时获取图像 。 真脸数据包含了强光、暗光、背光、弱光以及阴阳脸等各种复杂场景 。 基于 2D 的假脸数据使用打印纸、铜版纸、照片纸以及电脑屏幕、平板 Pad 屏幕、手机屏幕 ， 在不同的距离、角度和光线下进行采集 。 基于 3D 的假脸数据则采用头模、硅胶面具和纸质照片抠洞的人脸面具进行采集 。
推荐阅读
![[亮剑君]怀才不遇，终被我国赏识，这位美国教授为我国天网贡献巨大！，](https://imgcdn.toutiaoyule.com/20200402/20200402010437473463a_t.jpeg)
- 识别|宠物鼻纹识别技术国内首次应用 有望运用到城市宠物管理、宠物走失等场景
- 刚取27连胜创CBA纪录，广东宏远就官宣外援马尚新冠检测阳性
- CBA广东宏远篮球俱乐部：外援马尚·布鲁克斯新冠检测呈阳性
- 广东男篮外援马尚·布鲁克斯新冠检测呈阳性
- 做好精准检测 晚期癌症使用免疫疗法后超八成能有效
- 广东男篮官方确认外援马尚新冠检测阳性！目前在东莞接受隔离治疗
- 北京：不再要求进行体温检测
- 热点|乌鲁木齐市食品、污水等样品检测结果均为阴性
- 乌鲁木齐市食品、污水等样品检测结果均为阴性
- 指纹|生物识别技术：历史、风险和未来