科技生活大侠阿里发布“AI安全诊断大师”，帮AI体检看病一条龙服务
文章图片
文章图片
如同一些出生免疫力就有缺陷的人一样 ， AI也存在免疫力缺陷 。 基于从源头打造安全免疫力的新一代安全架构理念 ， 最近 ， 阿里安全研究发布了一项核心技术“AI安全诊断大师” ， 可对AI模型全面体检 ， “看诊开方” ， 让AI模型出生就自带增强型免疫力 ， 抵御安全威胁 。
“AI安全诊断大师”包括一款对AI模型安全性进行评估和提升防御能力的工具箱 ， 对多个云上算法接口进行安全性测试后 ， 还沉淀出一套在实际生产中能对恶意攻击进行过滤 ， 降低安全风险的AI防火墙系统 。
中国科学院计算技术研究所副研究员王树徽认为 ， 在数字基建当中 ， 人工智能技术的安全问题关乎到整个信息经济基础设施的安全 ， 已越来越受到社会各界的关注 。 虽然近年来针对人工智能安全的理论研究取得了一些进展 ， 但在实际应用方面 ， 仍然没有切实可行的落地成果提高真实场景下人工智能系统的鲁棒性 。
“阿里安全团队提出了新一代安全架构及相关核心技术 ， 正是针对数字基建中的人工智能安全问题进行的一次体系化探索和创新 。 ”王树徽说 。
文章图片
“AI安全诊断大师”能干什么
AI在安全性上存在的问题来源于机器感知和人类感知的区别 ， 人类感知是全局的 ， 同时具备底层局部特征和高层语义特征的感知和认知能力 ， 对于图像或者文本在某些局部区域的微小扰动能够有很高的容忍度 ， 不易收到干扰 。
科研实验结果表明 ， 目前主流的AI模型则对局部的微小扰动可能会很敏感 ， 一些细微不可见的改动就可以引起算法输出结果上的巨大误差 ， 这种针对AI模型产生的特定扰动被称为对抗样本 。 自从2014年对抗样本被提出后 ， 越来越多的研究人员通过实验发现 ， 面向图像、语音、文本等载体的分类、检测、检索等模型都会受到对抗样本的攻击 。
对抗样本攻击产生的后果可能是非常严重的 。 在互联网内容业务中 ， 有些恶意行为可能通过上传对抗样本以规避算法检测或者绕开机器监管 ， 导致不良信息泛滥 。 或者通过佩戴经过特定设计、有对抗攻击能力的眼镜等物体 ， 导致在手机解锁、线下安防等领域误导AI系统 ， 引发事故或者损失 。
车辆的辅助驾驶和自动驾驶系统也可能会因AI技术的安全缺陷丧失识别交通指示牌的能力 ， 成为“没有视觉系统”的汽车 ， 从而给出错误的决策 ， 遇到大型障碍物时“看不到”停车标志 ， 威胁人身和财产安全；
据阿里安全图灵实验室高级算法专家华棠介绍 ， “AI安全诊断大师”可针对AI本身的安全问题 ， 提供全方位的安全性能评估服务和定制化的防御提升方案 。 通过测试和发现算法可能出错的某些特殊情形 ， 给出有针对性的模型防御增强建议 。
值得注意的是 ， “安全诊断”看得见 。 这种“安全诊断”能给出诊断的综合分数、单项分数 ， 并将安全威胁展示出来 。 “AI安全诊断大师”提供了模型安全性可视化分析结果 ， 将模型的损失曲面相对不同方向的扰动量以二维及三维图例来呈现出来 。
下图可以直观地看出AI模型面对扰动下的安全性 ， 或者对不同模型进行安全性对比 ， 曲面越平缓的算法对恶意攻击更加鲁棒 ， 安全性更强 。 下图是模型输出loss与扰动的对应关系 ， 其中横轴是随机扰动 ， 纵轴是对抗扰动 ， 可以看出在随机扰动方向上不断加大噪声强度 ， 但loss变化趋势平缓 ， 表明模型对随机扰动具备一定的鲁棒性 。 而在对抗扰动方向上加大噪声强度可能导致loss急剧加大 ， 导致模型输出结果发生变化 ， 攻击成功 。
推荐阅读
- 阿里巴巴▲三国志战略版什么来路？为何频频刷屏各大软件？
- 王石头科技阿里和华为终有一场较量！AI芯片自研实力，究竟谁更胜一筹？
- 『阿里』万科阿里京东扎堆养猪，养猪成了大厂们的新希望？
- 阿里巴巴■公有云竞争格局：阿里云一枝独秀，华为实现弯道超车
- 『阿里巴巴』雷军喜提“100亿”！问题来了，雷军还能超过马云马化腾吗？
- 大侠爱点评在油耗和性价比上都有很大的优势，新款长安cs35plus的月销售额超过1万元
- 阿里巴巴@阿里巴巴淘小铺到底是不是“天时地利人和”的赚钱机会
- 阿里巴巴▲适合普通人的投资方法，让你躺着赚钱
- [阿里巴巴]阿里找台积电代工，中芯国际“失败了”？网友：不要忘记华为经历
- 饿了么饿了么创始人是个大学生，670亿卖给阿里，现在吃穿不愁了吧！