江苏龙网

  1. 首页 > 资讯 > 科技 > >

科技小数据|深度学习——卷积神经网络中十大令人拍案叫绝的操作( 四 )



科技小数据|深度学习——卷积神经网络中十大令人拍案叫绝的操作
本文插图

图来自微软亚洲研究院公众号
要做到这个操作 ， 可以直接在原来的过滤器前面再加一层过滤器 ， 这层过滤器学习的是下一层卷积核的位置偏移量（offset） ， 这样只是增加了一层过滤器 ， 或者直接把原网络中的某一层过滤器当成学习offset的过滤器 ， 这样实际增加的计算量是相当少的 ， 但能实现可变形卷积核 ， 识别特征的效果更好 。 详细MSRA的解读可以看这个链接：可变形卷积网络：计算机新“视”界 。
启发与思考
现在越来越多的CNN模型从巨型网络到轻量化网络一步步演变 ， 模型准确率也越来越高 。 现在工业界追求的重点已经不是准确率的提升（因为都已经很高了） ， 都聚焦于速度与准确率的trade off ， 都希望模型又快又准 。 因此从原来AlexNet、VGGnet ， 到体积小一点的Inception、Resnet系列 ， 到目前能移植到移动端的mobilenet、ShuffleNet（体积能降低到0.5mb！） ， 我们可以看到这样一些趋势：
卷积核方面：
大卷积核用多个小卷积核代替；
单一尺寸卷积核用多尺寸卷积核代替；
固定形状卷积核趋于使用可变形卷积核；
使用1×1卷积核（bottleneck结构） 。
卷积层通道方面：
标准卷积用depthwise卷积代替；
使用分组卷积；
分组卷积前使用channel shuffle；
通道加权计算 。
卷积层连接方面：
使用skip connection ， 让模型更深；
densely connection ， 使每一层都融合上其它层的特征输出（DenseNet）
启发
类比到通道加权操作 ， 卷积层跨层连接能否也进行加权处理？bottleneck + Group conv + channel shuffle + depthwise的结合会不会成为以后降低参数量的标准配置？
作者：Justin ho
编辑：AITech


推荐阅读


上一篇：科技商说|操作捷径iPhone落败，小米、OPPO略胜一筹

下一篇：科技怪人|CPU、GPU、NPU、FPGA等芯片架构特点分析