江苏龙网

  1. 首页 > 资讯 > 科技 > >

『算法』AI无间道!清华团队推出AI安全平台,欺骗顶尖人脸算法后又修复漏洞


允中 发自 凹非寺量子位 编辑 | 公众号 QbitAI
随着人工智能技术的发展 ， 人工智能在很多场景里正逐渐替代或协作着人类的各种劳动 ， 它们可以成为人类的眼睛、耳朵、手臂甚至大脑 。 其中 ， 机器视觉作为AI时代的基础技术 ， 其背后的AI算法一直是各科技巨头和创业公司共同追逐的热点 。 然而 ， 这些主流应用场景的背后 ， 往往也藏着由技术性缺陷导致的算法安全风险 。
例如 ， 在一些训练数据无法覆盖到的极端场景中 ， 自动驾驶汽车可能出现匪夷所思的决策 ， 导致乘车人安全风险 。 从2016年至今 ， Tesla、Uber等企业的辅助驾驶和自动驾驶系统就都曾出现过类似致人死亡的严重事故 。 并且这类极端情形也可能被恶意制造并利用 ， 发起“对抗样本攻击” ， 去年7月 ， 百度等研究机构就曾经通过3D打印 ， 能让自动驾驶“无视”的障碍物 ， 使车辆有发生撞击的风险 ， 同样威胁行驶安全 。
之所以能攻击成功 ， 主要是机器视觉和人类视觉有着很大的差异 。 因此可以通过在图像、物体等输入信息上添加微小的扰动改变（即上述故意干扰的“对抗样本”） ， 就能导致很大的算法误差 。 此外 ， 随着AI的进一步发展 ， 将算法模型运用于更多类似金融决策、医疗诊断等关键核心场景 ， 这类AI“漏洞”的威胁将愈发凸显出来 。
近几年来 ， 包括清华大学人工智能研究院院长张钹院士、前微软全球执行副总裁沈向洋等均提倡要发展安全、可靠、可信的人工智能以及负责任的人工智能 ， 其中AI的安全应用均是重点方向 。
然而AI安全作为一个新兴领域 ， 尽管对抗样本等攻击手段日益变得复杂 ， 在开源社区、工具包的加持下 ， 高级攻击方法快速增长 ， 相关防御手段的普及和推广却难以跟上 。 在AI算法研发和应用的过程中 ， 对抗样本等算法漏洞检测存在较高的技术壁垒 ， 目前市面上缺乏自动化检测工具 ， 而大部分企业与组织不具备该领域的专业技能来妥善应对日益增长的恶意攻击 。
一、从安全评测到防御升级 ， RealSafe让AI更加安全可控 为了解决以上痛点 ， 近日 ， 清华大学AI研究院孵化企业RealAI（瑞莱智慧）正式推出首个针对AI在极端和对抗环境下的算法安全性检测与加固的工具平台——RealSafe人工智能安全平台 。
据了解 ， 该平台内置领先的AI对抗攻防算法 ， 提供从安全测评到防御加固整体解决方案 ， 目前可用于发现包括人脸比对等在内的常用AI算法可能出错的极端情形 ， 也能预防潜在的对抗攻击 。
『算法』AI无间道!清华团队推出AI安全平台,欺骗顶尖人脸算法后又修复漏洞
本文插图

RealAI表示 ， 就如网络安全时代 ， 网络攻击的大规模渗透诞生出杀毒软件 ， 发现计算机潜在病毒威胁 ， 提供一键系统优化、清理垃圾跟漏洞修复等功能 ， RealSafe研发团队希望通过RealSafe平台打造出人工智能时代的“杀毒软件” ， 为构建人工智能系统防火墙提供支持 ， 帮助企业有效应对人工智能时代下算法漏洞孕育出的“新型病毒” 。
RealSafe平台目前主要支持两大功能模块：模型安全测评、防御解决方案 。
其中 ， 模型安全评测主要为用户提供AI模型安全性评测服务 。 用户只需接入所需测评模型的SDK或API接口 ， 选择平台内置或者自行上传的数据集 ， 平台将基于多种算法生成对抗样本模拟攻击 ， 并综合在不同算法、迭代次数、扰动量大小的攻击下模型效果的变化 ， 给出模型安全评分及详细的测评报告（如下图） 。 目前已支持黑盒查询攻击方法与黑盒迁移攻击方法 。
『算法』AI无间道!清华团队推出AI安全平台,欺骗顶尖人脸算法后又修复漏洞
本文插图

防御解决方案则是为用户提供模型安全性升级服务 ， 目前RealSafe平台支持五种去除对抗噪声的通用防御方法 ， 可实现对输入数据的自动去噪处理 ， 破坏攻击者恶意添加的对抗噪声 。 根据上述的模型安全评测结果 ， 用户可自行选择合适的防御方案 ， 一键提升模型安全性 。 另外防御效果上 ， 根据实测来看 ， 部分第三方的人脸比对API通过使用RealSafe平台的防御方案加固后 ， 安全性可提高40%以上 。


推荐阅读


上一篇：「OPPO新品」旗舰机“王炸来袭”，OPPO剑指高端市场

下一篇：『我的第一部5G手机』宝安加快布局打造5G建设先锋样板城区