DeepTech深科技|“单核” 变“多核”，显著提高 “对抗性攻击” 防御力，18 岁清华毕业，95后博士生杨幻睿将深度学习
9月26日 ， 杜克大学陈怡然教授在微博秀出了组里博士生的成绩——杨幻睿同学的论文被NeurIPS评为最优的Oral级别 ， 并不忘强调“还是家里领导最牛” ， 狠狠向粉丝撒了一把狗粮 。
文章图片
图|陈怡然教授微博
根据陈怡然随微博贴出的邮件显示 ， 本次NeurIPS2020（ConferenceonNeuralInformationProcessingSystems）收到了破纪录的9454篇论文 ， 合计1900篇论文通过评审 ， 其中包括280篇Spotlight以及105篇Oral ， Oral级别论文比例仅1.1% 。
本次杨幻睿提交的论文名称为“DVERGE:DiversifyingVulnerabilitiesforEnhancedRobustGenerationofEnsembles” ， 旨在保证模型识别精度的情况下同时提高模型的鲁棒性 ， 这项技术的应用前景广阔 ， 属于人工智能 ， 尤其是图像识别、机器视觉领域的前沿基础方法 。
DeepTech联系到杨幻睿 ， 请他介绍了该论文的具体内容及自己不寻常的成长路径 。
神经网络的双刃剑
2015年左右 ， 随着深度学习技术的发展 ， 对抗性攻击（AdversarialAttack）以及对抗性鲁棒性（AdversarialRobust）被人们愈加重视 。
此前 ， 在深度学习的应用场景中 ， 技术人员所选取的训练数据与测试数据往往是“清洁”的 ， 仅包含少量的天然噪声 ， 这时候基本不存在显著的“鲁棒性”的问题 。
但后来 ， 技术人员出于种种目的 ， 为神经网络的测试数据加入了特别设计过的“噪声” ， 这些数据可以骗过模型 ， 极大程度上改变网络的中间层隐含特征 ， 最终导致错误的输出结果 ， 即识别失败 。
这个过程被称作对抗性攻击 。 对神经网络鲁棒性的研究主要旨在增强其对这类攻击的免疫性 。
为图片加入“噪声”的具体做法大概是这样：通过某些算法选取图片中的部分或全部像素 ， 再通过特定算法让这些被选取像素点的颜色在小范围微调 ， 就可以得到一张肉眼看不出太大差别 ， 但却能影响模型识别的图片 。
文章图片
图|一张具备对抗性攻击属性的图片 ， 右侧的图片可用作对抗性攻击
杨幻睿介绍道 ， 目前常见的攻击大都属于“无目的攻击”类型 ， 即只要模型的输出结果错误 ， 就标志着攻击成功 。 目前的网络环境这类攻击行为已经比较普遍 。
这项技术有许多有价值的应用场景 ， 比如互联网公司在用户执行一些如注册、登录、抢红包等敏感操作的时候大都有填写验证码的操作 ， 为了防止被自动化程序利用 ， 这些验证码的图片就会被加入“噪音” ， 以降低恶意程序的识别成功率 。
当然还有一些负面的应用 ， 比如此前有研究者撰文 ， 他们专门设计出针对自动驾驶程序的干扰贴纸 ， 将这种贴纸贴在路牌上 ， 可以在不影响人类驾驶员的情况下 ， 让计算机产生误判 。 这种情况可能导致非常严重的后果 。
文章图片
图|一个会被计算机识别成限速45英里（72公里）/小时的路标
此前 ， 针对这种场景 ， 技术人员的普遍做法是进行对抗性训练 。
思路也很简单直接 ， 既然现有的神经网络对这类加了“噪声”的数据识别效果不好 ， 干脆将这些加了“噪声”的数据加入到神经网络的训练过程之中 。 通过噪声与模型对抗的方式逐步提高模型的鲁棒性 。
这样的方式 ， 的确会让神经网络更好地识别带有“噪声”的数据 ， 但是代价就是较大地牺牲了对正常数据的识别精度（10%以上） ， 所以这种“简单粗暴”的方式并不一定满足实际应用的需求 。。
Ensemble——博采众长
为了既能提高模型的鲁棒性 ， 又能保持对清洁数据的高识别度 ， 杨幻睿和同事想到了引入“Ensemble”的方式训练模型 。
推荐阅读
- 七号人称说科技|华为始料未及？台积电又成了“炮灰”？新风暴说来就来
- 大众新闻|众安科技荣获“今日·保险中介榜”年度Insurtech独角兽
- 雷科技|朋友圈都在秀的“互联网勋章”到底是什么？
- 快科技|小米10至尊纪念版妙享功能升级：手机与Windows电脑合体
- 七号人称说科技|再给华为一颗糖？美国到底在打什么“算盘”？，先给华为一巴掌
- 小米科技|小米旗舰再“搅局”！144Hz+2K+百倍变焦，5纳米性能赶超A14
- 科技小乐乐|12：你想太多了，跌至4784元？全网刷屏的琼版iPhone
- 雷科技|12直降1500，海南版真有这么香？，iPhone
- 科技小乐乐|为什么国内有人已拿到iPhone12却不敢开机？
- 浪浪科技|亚马逊42%的评论为虚假评论，报告：疫情期间