江苏龙网

  1. 首页 > 人文 > >

韭菜花音乐|联合工作：利用NAS搜索针对对抗攻击的鲁棒神经网络，港中文、MIT

郭明皓AI科技评论前天
韭菜花音乐|联合工作：利用NAS搜索针对对抗攻击的鲁棒神经网络，港中文、MIT
文章图片
本文解读的是CVPR2020论文《WhenNASMeetsRobustness:InSearchofRobustArchitecturesagainstAdversarialAttacks》 ， 作者来自香港中文大学、MIT 。
作者|杨宇喆
编辑|丛末
韭菜花音乐|联合工作：利用NAS搜索针对对抗攻击的鲁棒神经网络，港中文、MIT
文章图片
论文链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Guo_When_NAS_Meets_Robustness_In_Search_of_Robust_Architectures_Against_CVPR_2020_paper.pdf
源码地址：https://github.com/gmh14/RobNets
1
导读
为了提高深度神经网络的对抗鲁棒性 ， 现有工作集中于研究对抗学习算法或损失函数来增强网络鲁棒性 。
在这项工作中 ， 我们从神经网络结构的角度出发 ， 研究了可抵抗对抗攻击的神经网络结构的模式 。 为了获得本研究所需的大量网络 ， 我们采用了Oneshot神经网络结构搜索（NAS） ， 对一个super-net进行一次训练 ， 然后对从中采样的子网络进行了对抗微调 。 采样的网络结构及其鲁棒性精度为我们的研究提供了丰富的基础 。
我们的“鲁棒的神经网络结构”研究揭示了一些有价值的观察结果：
1）密集连接的网络模式可提高神经网络鲁棒性；
2）在有限的模型容量预算下 ， 将卷积运算添加到直连边是更有效的；
3）FSP（FlowofSolutionProcedure ， 解决程序流程）矩阵流是检验网络鲁棒性的良好指标 。
基于这些观察 ， 我们发现了一系列鲁棒的网络结构（RobNets） 。 在CIFAR ， SVHN ， Tiny-ImageNet和ImageNet等大量数据集上 ， RobNets表现出相比于其他广泛使用的网络结构（如ResNet ， DenseNet）更高的鲁棒性 。 值得注意的是 ， RobNets即使在参数数量较少的情况下 ， 也能在白盒和黑盒攻击下大幅提高鲁棒性（绝对增益约为5％） 。
2
简介
深度神经网络容易受到对抗样本攻击：在对抗攻击下 ， 自然数据（如图像）会受到人类难以察觉的对抗噪声干扰 ， 从而使得神经网络产生完全错误的输出 。 为了提高网络的鲁棒性 ， 研究者们提出了大量对抗防御的方法 ， 其中的主要关注点包括对抗学习算法 ， 损失/正则化函数 ， 以及图像预处理等 。 然而 ， 还没有相关研究探讨过与现有防御机制的一个正交的方面：神经网络结构本身对其抵御对抗样本的影响 。 在这项工作中 ， 我们尝试从神经网络结构的角度去系统地分析、理解神经网络的对抗鲁棒性 。 具体来说 ， 我们旨在回答以下问题：
什么样的神经网络结构模式是对于对抗鲁棒性是至关重要的？
给定一定模型容量的预算 ， 如何分配网络结构的参数以有效地提高网络的鲁棒性？
鲁棒的神经网络结构的统计指标是什么？
为了回答上述问题 ， 我们需要训练大量具有不同网络结构的神经网络 ， 并评估其鲁棒性以得出结论 。 然而 ， 这个过程非常耗时 ， 尤其当我们需要引入对抗训练 。 针对这个问题 ， 我们提出采用Oneshot神经网络结构搜索（NAS）的方法 ， 使得我们可以同时一次性在众多网络结构之间评估鲁棒性 。 具体来说 ， 我们首先训练一个super-net ， 然后我们从中对网络结构进行采样 ， 并对候选子网络finetune几个epoch ， 以在对抗攻击下获得较高的鲁棒性 。 我们的研究与分析表明了鲁棒的神经网络具有以下的性质：
【韭菜花音乐|联合工作：利用NAS搜索针对对抗攻击的鲁棒神经网络，港中文、MIT】1）我们在搜索空间中对1,000个网络结构进行了统计分析 ， 发现网络结构密度与对抗精度之间存在很强的相关性 。 这表明密集连接的模式可以显着提高网络的鲁棒性 。
2）我们在三种不同的模型容量预算下限制参数的数量 ， 并通过实验发现 ， 在直连边添加卷积运算对于提高模型的鲁棒性更为有效 ， 尤其是对于较小的模型容量预算而言 。


推荐阅读


上一篇：5g之光|“真5G”旗舰一看便知，八款5G旗舰速度对比

下一篇：用友社会化用工研究院|后疫情时代，或成行业发展新常态，云餐饮展现独特价值