江苏龙网

  1. 首页 > 资讯 > 科技 > >

『算法』AI无间道!清华团队推出AI安全平台,欺骗顶尖人脸算法后又修复漏洞( 二 )


随着模型攻击手段在不断复杂扩张的情况下 ， RealSafe平台还持续提供广泛且深入的AI防御手段 ， 帮助用户获得实时且自动化的漏洞检测和修复能力 。
二、“对抗样本”成“AI病毒” ， 国外主流人脸识别算法相继被“攻破” 【『算法』AI无间道!清华团队推出AI安全平台,欺骗顶尖人脸算法后又修复漏洞】站在人脸识别终端前 ， 通过人脸识别摄像头完成身份校验 ， 类似的人脸识别身份认证已经覆盖到刷脸支付、酒店入住登记、考试身份核验、人证比对等等生活场景中 。
考虑到公众对于对抗样本这一概念可能比较模糊 ， RealSafe平台选取了公众最为熟知的人脸比对场景（人脸比对被广泛用于上述的身份认证场景中）提供在线体验 。 并且 ， 为了深入研究“对抗样本”对人脸比对系统识别效果的影响 ， RealAI 团队基于此功能在国外主流 AI 平台的演示服务上进行了测试 。
『算法』AI无间道!清华团队推出AI安全平台,欺骗顶尖人脸算法后又修复漏洞
本文插图

选取一组不同的人脸图片（如下图） ， 通过RealSafe平台对其中一张图片生成对抗样本 ， 但不影响肉眼判断 ， 添加“对抗样本”前后分别输入到第三方人脸比对平台中查看相似度 。
『算法』AI无间道!清华团队推出AI安全平台,欺骗顶尖人脸算法后又修复漏洞
本文插图

最终结果显示 ， 添加“噪声”前 ， 两张图片被 Azure、AWS 判定为不属于同一个人 ， 但添加“噪声”后 ， 以上两个平台的演示服务均给出了错误的结果 ， 认为两张图片属于同一个人 ， 甚至 Azure 平台的演示服务在添加“噪声”前后相似度变化的幅度高达70%以上 。
『算法』AI无间道!清华团队推出AI安全平台,欺骗顶尖人脸算法后又修复漏洞
本文插图

为了探究结果的普适性 ， RealAI团队又选取了国内三家主流人脸比对平台进行测试 ， 结果同样显示 ， 添加扰动之后 ， 原本判定为“不同人脸”的图片均被错误识别为“相同人脸” ， 前后相似度的变化幅度可达到20%以上 。 而通过RealSafe防火墙“去噪”过滤后 ， 这几个人脸比对平台的识别“误差”获得不同程度的纠正 ， 识别效果得到稳定提升 。
RealAI团队已经将这种潜在风险以及相关防御方法反馈给上述企业 ， 以帮助降低风险 。
实测证明 ， “对抗样本”可以极大的干扰人脸比对系统的识别结果 ， 据介绍 ， 目前市面上很多中小型企业在落地人脸识别应用时大多会选择采用上文测试的这几家互联网公司开放的人脸比对SDK或者API接口 ， 如果他们人脸比对技术存在明显的安全漏洞 ， 意味着更广泛的应用场景将存在安全隐患 。
除了人脸比对外 ， 对抗样本攻击还可能出现在目标检测的应用场景中 ， 延伸来看 ， 这可能会危害到工业、安防等领域的安全风险检测 。 比如某电网的输电塔的监控系统 ， 由于输电塔的高安全性防护要求 ， 防止吊车、塔吊、烟火破坏输电线路 ， 需要对输电塔内外进行全天候的实时监控 ， 而这实时监控系统背后就是基于目标检测的AI算法来提供保障 。
而RealAI研究团队发现 ， 只要通过RealSafe对其中的目标检测算法进行一定的对抗样本攻击 ， 就会造成监控系统失效 ， 导致其无法识别非常明显的烟火情形 ， 类似情形如果真实发生 ， 将可能带来难以估计的损失 。
事实上 ， 像以上提到的这些AI安全风险由于都是AI底层算法存在技术缺陷而导致 ， 往往比较隐蔽 ， 但牵一发动全身 ， 这些“难以预见”的风险漏洞最有可能成为被攻破的薄弱环节 ， 而RealSafe平台同步推出的防御解决方案则可以有效增强各应用领域中AI算法的安全性 。
三、“零编码”+“可量化” ， 两大优势高效应对算法威胁 据介绍 ， RealAI此次推出的算法模型安全检测平台 ， 除了可以帮助企业高效应对算法威胁还具备以下两大优势：


推荐阅读


上一篇：「OPPO新品」旗舰机“王炸来袭”，OPPO剑指高端市场

下一篇：『我的第一部5G手机』宝安加快布局打造5G建设先锋样板城区