对抗性|阿里和清华联手一呼：我们给钱给资源，求解这些AI安全难题服务器|目标|阿里

_原题为 阿里和清华联手一呼：我们给钱给资源，求解这些AI安全难题
金磊发自凹非寺
量子位报道 | 公众号 QbitAI
真的存在「隐形衣」吗？

文章图片

这就是由美国东北大学和MIT等研究机构，共同提出的 Adversarial T-shirt——基于对抗样本的T恤衫。
据研究人员介绍，这是全球首个在非刚性物体 (如T恤)上，进行的物理对抗性实例。
也就是说，在被AI检测过程中，无论衣服发生任何褶皱或变形，都能达到「隐身」效果。

文章图片

并且，这项研究已经入选计算机视觉顶级会议 ECCV 2020 的焦点论文（SpotlightPaper）。
而这，也引发了人们对人工智能时代下，安全隐患的思考。
T恤上的「印花」就能愚弄AI
其实，达到所谓的「隐身」效果，其实就是愚弄AI的「视觉系统」。
这项研究也一定程度说明，目前所谓比较成熟的计算机视觉技术，具有一定的脆弱性。
例如，目前很多公司上班打卡都是通过人脸认证，但若是哪天穿了这种具有「对抗性」的T恤，迟迟打不上卡……
嗯，那种焦灼痛苦，你品，你细品。
那么，这款T恤的隐形效果到底是如何实现的呢？
这里所涉及到的关键技术就是对抗攻击（Adversarial Attack），目的就是让AI模型做出误判。
研究人员设计这款「隐形衣」的过程中，主要分为三个步骤：

首先，让实验人员穿着印有棋盘图案的T恤走动并录视频，将视频中的帧作为训练数据。
其次，将通用的对抗性扰动应用于布料区域。
最后，优化对抗性扰动，优化过程通过反向传播，作为一个闭环而进行。

文章图片

这个过程中，一个关键因素就是解决T恤因褶皱、变形，所导致的降低攻击成率问题。
对此，研究人员提出了一种叫做 TPS（Thin Plate Spline）变化的方法，来模拟衣服褶皱的情况。

文章图片

然后将得到的TPS变化，融入到 EOT（Expectation over Transformation）算法中，这样就可以在现实世界的非刚性物体上，生成对抗样本。
再从定量分析的角度来看，研究人员提出的方法，在Faster R-CNN和YOLOv2模型上的攻击成功率，分别达到了61%和74% 。

文章图片

但也正如研究人员所说：
如下图所示，方法对于角度和距离还是比较敏感的——较大的变形角度、较远的距离，都会让攻击成功率下降。

文章图片

比愚弄AI更可怕的是「以假乱真」
从这样的一件T恤中，我们可以发现， AI模型还是比较脆弱的。
或许在我们人类眼中，轻微的图像扰动并不会造成失误判断，但对于AI模型来说却不是如此。
安全，向来是个不可忽视，且需要持续关注的问题，新鲜的血液和思想的碰撞必不可少。
为此，阿里安全携手清华大学，联合举办全球首个针对目标检测算法的对抗攻击竞赛—— 安全AI挑战者计划：
共吸引了全球200多所高校100多家企业的近4000支队伍参加。
而今年的安全AI挑战者计划，是第一季的升级传承，将业内的模型安全问题体系化、标准化，并形成一个优秀的社区。

文章图片

并且，挑战者计划第二季第四期已启动！详情如下。
第四期题目价值
阿里安全举办了全球首个结合黑盒白盒场景，针对多种目标检测模型的对抗攻击竞赛。
比赛采用COCO数据集，其中包含20类物体。
比赛任务是通过向原始图像中添加对抗补丁（adversarial patch）的方式，使得典型的目标检测模型不能够检测到图像中的物体，绕过目标定位。
为了更好的评价选手的攻击效果，阿里安全创造了全新的得分计算准则——除了加入攻击成功率之外，还对添加补丁的数量和大小进行了约束。
此外，为了保证比赛的难度，阿里安全选取了4个近期的SOTA检测模型作为攻击目标，包括两个白盒模型——YOLO v4和Faster RCNN和另外两个未知的黑盒模型。
赛程安排