研究|北航新研究：忽悠”智能机器人，竟然改改物品纹理就成功了( 二 )
文章图片
整体优化损失
将时空信息融合 ， 就得到了整体的优化损失函数：
文章图片
其中 ， 为了增加攻击成功率 ， 研究人员引入不同的环境信息c来进行噪音的优化（如：角度、光照） 。 进一步 ， 控制产生的噪声大小范围来使得其人眼不可感知：
实验结果：智能机器人很容易被欺骗
通过实验结果评估该对抗攻击算法的有效性 ， 主要针对EQA-v1数据集进行测试 。
可导渲染器的攻击效果
首先 ， 研究人员将渲染过程中的渲染器设置为可导的 ， 并分别进行了白盒攻击和黑盒攻击实验 。 通过下表可示 ， 该算法在多个指标上都取得了最高的攻击成功率（问答准确率和移动距离等）：
文章图片
不可导渲染器的攻击效果
在真实世界场景中更多使用不可导渲染器 ， 因为其可以更好渲染出更加逼真和丰富的场景元素和环境条件 。 因此 ， 在不可导渲染器上的对抗攻击效果可以有效的验证本方法在真实场景中的可行性 。 如下图所示 ， 时空融合对抗攻击算法可以在未知参数的“黑盒”不可导渲染器下取得很好的攻击效果 。
文章图片
可视化效果
通过下图可以看出 ， 时空融合的对抗攻击算法所生成的对抗噪音具有非常好的视觉效果 ， 可以达到人眼不可分辨（黄色方框表示对抗攻击的物体） 。
文章图片
文章图片
文章图片
对抗攻击的作用
除了攻击智能机器人使其执行错误的操作和行为 ， 本文提出的时空融合的对抗攻击对于提升模型的鲁棒性和模型行为的理解都有重要作用和意义 。
通过对抗训练提升模型鲁棒性
通过在智能机器人的训练过程中混入由时空融合产生的对抗3D场景 ， 研究人员使用对抗训练来提升智能机器人对于噪音的鲁棒性 。 通过对抗训练 ， 智能机器人在对抗场景下和高斯噪音场景下的表现能力都得到了很大的提升（问答准确率 ， 对抗场景：5.67%->23.56% ， 高斯噪音场景：22.14%->38.87%） 。
文章图片
模型决策行为理解
通过对抗攻击 ， 本文拟进一步探索智能机器人脆弱的原因以及它们在决策时所依赖的特征偏好 。 研究人员用同样大小的对抗噪音来分别修改物体的“纹理”和“形状”属性 ， 并使用同一场景对于智能机器人进行对抗攻击 。 通过实验研究人员发现 ， 对于智能机器人模型 ， 纹理攻击（准确率4.26%）比形状攻击（27.14%）的效果要强非常多 。 这进一步证明了 ， 目前深度神经网络的决策方式更多的是依赖于对于纹理颜色信息的感知而不是对于物体形状的感知 。
文章图片
关于作者
文章图片
论文第一作者刘艾杉 ， 目前在北京航空航天大学计算机学院攻读博士 。
主要研究方向为对抗样本、深度学习鲁棒性、人工智能安全性 ， 已在ECCV、AAAI、IJCAI等国际顶级人工智能与计算机视觉会议发表多篇论文 。
传送门
论文地址：
https://arxiv.org/abs/2005.09161
代码地址：
https://github.com/liuaishan/SpatiotemporalAttack
— 完 —
本文系网易新闻?网易号特色内容激励计划签约账号【量子位】原创内容 ， 未经账号授权 ， 禁止随意转载 。
_原题为 《“忽悠”智能机器人 ， 竟然改改物品纹理就成功了！北航新研究：时空融合对抗攻击算法》
阅读原文
推荐阅读
- 美国彼得森国际经济研究所高级研究员：中国经济回暖将对全球经济复苏发挥积极作用
- 天文|最新研究表明，在月亮上，或许含有更加丰富的金属？
- |赞！河南郏县交警研究这项装置获国家专利
- 青兰高速|青岛大北岸城区交通规划：青兰高速拓宽提上研究日程
- 柯林斯|美国国立卫生研究院院长：戴口罩不应政治化 病毒检测结果慢
- 销售业绩不好，可能是你对人性还没研究透
- 无人机|室内飞无人机担心互撞？研究人员开发AI算法来防撞
- 国防部|三家公司为美国防部研究“轨道前哨”空间站方案
- sgu|日本sgu研究生申请条件是什么？
- 美卫生研究院院长称新冠病毒检测反馈严重滞后