江苏龙网

  1. 首页 > 人文 > >

算法：性能提升最高120倍！滴滴实习生提出自动结构化减枝压缩算法框架( 二 )


基于这些新设计 ， 他们提出的框架是这样的：
算法：性能提升最高120倍！滴滴实习生提出自动结构化减枝压缩算法框架
本文插图
整体上来说 ， AutoCompress框架进行模型自动化剪枝主要有两个步骤 ， 先是通过基于ADMM算法的结构化剪枝 ， 得到权重分布结构性稀疏化的模型；
然后通过网络结构净化（Purification）操作 ， 将ADMM过程中无法完全删除的一小部分冗余权重找到并删除 。
值得注意的是 ， 这两个步骤都是基于相同的启发式搜索机制 。
举例来讲 ， 给定一个原始模型 ， 他们会设置两种目标函数——根据权重数量设置或根据运算量（FLOPs）设置 。
搜索过程进行若干轮 ， 比如第一轮目标为压缩两倍权重数量 ， 第二轮为压缩四倍权重数量 。 在每一轮搜索过程中 ， 首先初始化一个行为（超参数） ， 然后每次对行为进行一个扰动（超参数的小幅变化）生成新的行为 。
根据模拟退火算法原理 ， 评估两个行为 ， 如果新的行为评估结果优于原结果则接受该行为 ， 如果新的行为评估结果劣于原结果则以一定概率接受该行为 。
每一轮算法中的温度参数T会下降 ， 直到T下降到某个阈值后即停止搜索 。 最后 ， 根据搜索得到的超参数 ， 对神经网络进行结构化剪枝操作 。
效果如何？他们也进行了测试：
在VGG-16在CIFAR-10数据集上 ， 结构化剪枝压缩率高达52.2倍 ， 无精度损失 ， 在 Samsung Galaxy S10智能手机上测试（使用代码生成优化版编译器） ， 其运行速度为2.7ms 。
ResNet-18在CIFAR-10数据集上更是达到了54.2倍结构化剪枝压缩率无精度损失 。
算法：性能提升最高120倍！滴滴实习生提出自动结构化减枝压缩算法框架
本文插图
相比之前的方法 ， 如果考虑到ResNet-18与ResNet-50本身的大小差距 ， 可以在准确率有所上升的情况下比之前的方法减小120倍权重参数 。
在ImageNet数据集上 ， VGG-16达到了6.4倍结构化压缩率 ， 精度损失仅为0.6% ， ResNet-18达到了3.3倍的结构化压缩率 ， 无精度损失 。
而且 ，AutoCompress框架也可以应用于非结构化剪枝 ， 其压缩结果使ResNet-50在ImageNet数据集上可以做到9.2倍无精度损失的压缩 ， 更能达到17.4倍的压缩率 ， 仅损失0.7%的精度 。
所以 ， 他们得出结论 ， 与其他方法相比 ， AutoCompress的效果超过各种神经网络压缩方法与框架 ， 得到的高效神经网络模型可以在嵌入式移动系统中实现实时推理运算 。
滴滴AI Lab实习生 研究的第一作者 ， 名为刘宁 ， 是美国东北大学的在读博士生 ， 师从美国东北大学王言治教授 。
高中时曾获得北京市高中物理竞赛二等奖 ， 本科是电子信息工程专业 ， 曾获得全国大学生物联网竞赛三等奖 。
2015年在雪城大学获得硕士学位 。 这次介绍的研究 ， 是他2019年在滴滴实习时的成果之一 ， 实习导师是滴滴智能控制首席科学家唐剑 。
算法：性能提升最高120倍！滴滴实习生提出自动结构化减枝压缩算法框架
本文插图
在滴滴实习之前 ， 他也在网易、360实习过 。
根据滴滴的报道 ， 他也谈到了自己的研究规划：希望继续在深度学习模型压缩、设计上深入研究 ， 把学习到的知识和研究成果应用到现实场景 。
目前 ， 这个框架已经在滴滴已经得到了实际有效应用 。
传送门 AutoCompress: An Automatic DNN Structured Pruning Framework for Ultra-High Compression Rateshttps://arxiv.org/abs/1907.03141
— 完 —
量子位 QbitAI · ***签约
【算法：性能提升最高120倍！滴滴实习生提出自动结构化减枝压缩算法框架】关注我们 ， 第一时间获知前沿科技动态


推荐阅读


上一篇：实战财经@590万商户恨透你！但疫情期间 我们只能指望你！

下一篇：猎云网@【猎云早报】美团闪购下架大幅涨价商品56万个；乔布斯遗孀将裸捐250亿美元；蔚来获2.35亿美元融资