你熟知的那个杀毒软件公司McAfee,用这种方法骗过护照人脸识别
选自mcafee.com
作者：StevePovolny、JesseChick
机器之心编译
编辑：杜伟
当你自己与其他人的图像高度匹配时 ， 人脸识别系统还能发挥其作用吗？网络安全公司McAfee生成的对抗性伪图像就骗过了人脸识别系统 。
文章图片
在进入正文之前 ， 我们先想象一个场景：如果对象A（正文中的Jesse）在航空系统的禁飞名单中 ， 因而无法通过机场的护照人脸识别系统 ， 也从未提交过护照照片 。 那么有没有办法帮助Jesse顺利地通过护照人脸识别系统呢？
近期 ， 世界最大安全软件公司之一的迈克菲（McAfee）对此发起了挑战 ， 成功帮助Jesse骗过了护照人脸识别系统 ， 也证明了机器有时较人类更容易出错 。
迈克菲是如何做到的呢？它们引入了对象B（正文中的Steve） ， 此人不在禁飞名单中 ， 因而不受任何航空限制 。 所以关键是要利用Steve的身份通过护照人脸识别系统 ， 也就是需要提交一张看起来像Steve但又能与Jesse的实时视频完全匹配的护照照片 。
Jesse创建了一个攻击生成模型 ， 其中提取了1500张他们两人的静态照片作为数据集 ， 通过CycleGAN和FaceNet进行训练 。 在经过数百次训练迭代后 ， 终于生成了满足要求的护照照片 。
最终 ， 这张看起来像Steve的护照照片由Steve提交给政府 ， Jesse使用Steve的护照顺利地通过了护照人脸识别系统 。
文章图片
这项挑战由迈克菲高级威胁研究团队（McAfeeAdvancedThreatResearch,ATR）发起 ， 参与人员有ATR团队负责人StevePovolny以及俄亥俄州立大学大四学生、前迈克菲实习生JesseChick 。
接下来我们来看这项研究的技术详解 。
研究用例：护照验证的实时人脸识别
研究者将用于护照验证的人脸识别作为研究用例 。 基于人脸识别的护照验证概念非常简单 ， 摄像头拍摄乘客的实时视频或者静态照片 ， 然后验证服务系统会将它们与以前收集的已有照片进行对比 。 这些已有照片可能来自护照或者美国国土安全部数据库等其他来源 。
文章图片
接着 ， 这些实时拍摄的照片被处理成与目标照片类似的格式 ， 包括图像大小和类型等 。 如果两者匹配 ， 则护照持有者得到验证 。 如果不匹配 ， 检查员将会比对登机牌和身份证表格上的照片 。
所以 ， 作为一项脆弱性研究 ， 研究者需要分析如何才能破解人脸识别系统 ， 包括预期的操作方法和可能出现的疏忽 。 他们考虑是否可以利用底层系统的缺陷来骗过目标人脸识别系统 。
更具体地讲 ， 研究者想知道是否能够创建护照格式的「对抗性图像」 ， 然后被误验证为目标对象 。 在此之前 ， 研究者曾进行过针对图像识别系统的数字和物理介质攻击 。
概念攻击场景
此外 ， 研究中采用的概念攻击场景很简单 。 研究者将攻击者称为「对象A」（Jesse） ， 他在禁飞名单中 。 所以 ， 如果他实时拍摄的照片或视频与存储的护照照片比对的话 ， 则会立即被拒绝登机并遭到警告 ， 甚至还会被逮捕 。
文章图片
对象AJesse 。
所以 ， 研究者假设Jesse从未提交过护照照片 。 与此同时 ， 同谋者对象B（Steve）不在禁飞名单中 ， 他协助Jesse骗过护照人脸识别系统 。
文章图片
对象BSteve 。
Jesse是模型黑客攻击领域的专家 ， 他通过自己构建的系统生成了Steve的一张伪图像 ， 然后让Steve提交给政府 。 最为关键的是这张提交上去的照片必须看起来像Steve ， 又能与Jesse的实时视频完全匹配 。 这样才能帮助Jesse顺利地骗过人脸识别系统 。
方法选择
在伪图像生成过程中 ， 研究者首先选择使用了CycleGAN框架 。 但是 ， 在这项人脸识别对抗攻击测试中又用到了图像验证系统 ， 所以需要对CycleGAN进行扩展 。
所以 ， 他们又用到了FaceNet 。 研究者意识到 ， 模型不仅需要准确地创建逼真的对抗性图像 ， 而且需要将对抗性图像验证为目标对象 。
最终 ， 考虑到需要首先进行白盒测试 ， 以理解整个框架 ， 研究者选择将CycleGAN和开源的FaceNet变体架构InceptionResnetv1相结合 。
训练过程
研究者清楚他们需要足够大的数据集来准确地训练攻击生成模型 ， 但在该研究中的数据集要小于很多其他的用例 。 这是因为他们的研究对象只有两个人：对象AJesse和对象BSteve ， 并在将图像输入FaceNet时最小化生成的两个人脸嵌入之间的「距离」 ， 同时保持任意一个方向上的误分类 。
换句话说 ， 护照照片需要看起来像Steve ， 又能完全匹配Jesse的实时视频 。 反过来也是这样 。
研究者在包含1500张Jesse和Steve图像的数据集上进行训练 ， 它们都是从实时视频中捕获的静态图像 。 此外还提供了多种表情和人脸姿势 ， 以丰富训练数据并准确地表示（represent）为想要拍摄有效护照照片的人 。
文章图片
【你熟知的那个杀毒软件公司McAfee,用这种方法骗过护照人脸识别】对象AJesse和对象BSteve 。
然后 ， 研究者集成CycleGAN和FaceNet架构 ， 并开始训练模型 。
如下图所示 ， 生成器的原始输出非常粗糙 ， 虽然看起来有几分像人类 ， 但辨认起来却非常困难 ， 并且出现了极其明显的扰动（perturbation） 。
文章图片
但随着训练迭代的增加 ， 图像的视觉展示效果出现了明显改观 。 人脸开始消除一些异常（abnormality） ， 同时融合Jesse和Steve的特征 。 具体效果如下图所示：
文章图片
随着训练迭代的进一步增加 ， 判别器对生成器的输出图像越来越「满意」 。 虽然还需要处理一些细节 ， 但生成的图像越来越像Steve了 。
文章图片
数百次训练迭代之后 ， 研究者终于得到了符合要求的「候选图像」 ， 它可以作为有效护照照片帮助Jesse通过护照人脸识别系统 。
文章图片
Steve的伪图像 。
可以看到 ， Steve的伪图像足够真实 ， 能够令人相信它不是计算机生成的 。
Demo展示
下面的三个Demo视频展示了使用灰盒模型的对抗攻击 。
但是需要注意的 ， 在Demo展示中 ， 对象AJesse和对象BSteve互换了身份 ， 即Steve成为了攻击者 ， 他在禁飞名单中 ， 想要骗过护照人脸识别系统；Jesse成为了同谋者 ， 他不在禁飞名单中 ， 想要协助Steve通过护照人脸识别系统 。
也就是说 ， Demo展示的内容是Steve借助生成的Jesse伪图像通过护照人脸识别系统 。 此外 ， 研究者还添加了一个随机测试对象Sam ， 以作为参考 。
首先是正向测试（positivetest） ， 屏幕右侧为Steve的真实、非生成图像 。 系统在对照Sam时是不匹配的 ， 对照Steve自己时匹配度100% 。 这说明系统可以正确地识别出Steve自己 。
文章图片
其次是负向测试（negativetest） ， 屏幕右侧为Jesse的真实、非生成图像 。 系统准确地识别出了Sam和Steve与右侧Jesse不是同一个人 。 这说明系统在非对抗性条件下可以正确区分不同的人 。
文章图片
最后是对抗性测试（adversarialtest） ， 屏幕右侧为模型生成的Jesse的对抗性或者伪图像 。 由于Sam不在CycleGAN训练集中 ， 所以他与右侧的Jesse不匹配 。 攻击者Steve则对误分类为Jesse 。
文章图片
所以 ， 在这种对抗性攻击场景中 ， 如果护照扫描仪完全取代人类检查员 ， 则它已经误认为攻击者Steve与护照数据库中同谋者Jesse的伪图像是同一个人 。 由于Jesse不在禁飞名单中 ， 也没有任何其他限制 ， 所以Steve能够以Jesse的身份通过机场人脸验证并顺利登机 。
而如果这时有人类检查员的参与 ， 则很可能会辨认出Steve与护照上的Jesse伪图像并不是同一个人 。 这也由此说明了人脸识别系统较人类更容易出错 。
目前 ， 该研究已经在白盒和灰盒攻击测试中取得了进展 ， 并实现了很高的成功率 。 他们希望启发或者与其他研究者合作进行黑盒攻击测试 ， 从而证明该研究同样适用于护照验证系统等真实世界的目标 ， 并由此对这些系统做出改进 。
原文链接：https://www.mcafee.com/blogs/other-blogs/mcafee-labs/dopple-ganging-up-on-facial-recognition-systems/?utm_source=twitter_mcafee_labs&utm_medium=social_organic&utm_term=
&utm_content=&utm_campaign=&sf236565025=1
推荐阅读
- 腾讯控股的保险代理平台“微保”被深圳银保监局处罚
- 成龙的功夫是杂技，洪金宝胖的不灵活，周比利评价两人实战能力
- 凉茶|凉茶最大的问题不是添加西药，而是冒充饮料
- 台风|里弗斯谈独行侠：不会忽视有联盟前五球员的球队
- 高考遇洪水,交警铁骑送 景德镇考生的＂国宾待遇＂
- 未来的大学生活“长啥样”？ 来看学长为你写下的万字指南
- 不起眼的朗姐|和老人出去旅游，为什么会觉得心累？网友：只要老妈身体允许以后还要带她去，哈哈哈哈
- 粤游记|旅游就该诗酒趁年华，带你一起到东京，我们玩点不一样的！
- 三分钟游世界|云南新走红一座公园，门票高达100元，但去过的游客都说好
- 识别“95”号段中的“李鬼” 这些小技巧要掌握!