科技小数据深度学习——卷积神经网络中十大令人拍案叫绝的操作( 四 )
本文插图
【科技小数据深度学习——卷积神经网络中十大令人拍案叫绝的操作】
图来自微软亚洲研究院公众号
要做到这个操作 ， 可以直接在原来的过滤器前面再加一层过滤器 ， 这层过滤器学习的是下一层卷积核的位置偏移量（offset） ， 这样只是增加了一层过滤器 ， 或者直接把原网络中的某一层过滤器当成学习offset的过滤器 ， 这样实际增加的计算量是相当少的 ， 但能实现可变形卷积核 ， 识别特征的效果更好 。 详细MSRA的解读可以看这个链接：可变形卷积网络：计算机新“视”界 。
启发与思考
现在越来越多的CNN模型从巨型网络到轻量化网络一步步演变 ， 模型准确率也越来越高 。 现在工业界追求的重点已经不是准确率的提升（因为都已经很高了） ， 都聚焦于速度与准确率的trade off ， 都希望模型又快又准 。 因此从原来AlexNet、VGGnet ， 到体积小一点的Inception、Resnet系列 ， 到目前能移植到移动端的mobilenet、ShuffleNet（体积能降低到0.5mb！） ， 我们可以看到这样一些趋势：
卷积核方面：
大卷积核用多个小卷积核代替；
单一尺寸卷积核用多尺寸卷积核代替；
固定形状卷积核趋于使用可变形卷积核；
使用1×1卷积核（bottleneck结构） 。
卷积层通道方面：
标准卷积用depthwise卷积代替；
使用分组卷积；
分组卷积前使用channel shuffle；
通道加权计算 。
卷积层连接方面：
使用skip connection ， 让模型更深；
densely connection ， 使每一层都融合上其它层的特征输出（DenseNet）
启发
类比到通道加权操作 ， 卷积层跨层连接能否也进行加权处理？bottleneck + Group conv + channel shuffle + depthwise的结合会不会成为以后降低参数量的标准配置？
作者：Justin ho
编辑：AITech
推荐阅读
- 【】新闻调查：决战深度贫困
- 科技一哥|荣耀30青春版图集赏析：触觉与视觉的完美享受
- 科技犬君|vs 索尼A9G 谁强？，上半年用户喜爱手机盘点；小米电视大师65英寸OLED
- 精选泛科技|结果如何？，一加8续航遭质疑：上半年最全机型横评出炉
- 科技犬君上半年用户喜爱手机盘点；小米电视大师65英寸OLED vs 索尼A9G 谁强？
- 科技生活快报TB5000mAh大电池还有65W超级快充！这些手机让你摆脱充电焦虑
- 精选泛科技一加8续航遭质疑：上半年最全机型横评出炉，结果如何？
- 阿拉图图科技说三星新机口碑虽好，但中国市场销量翻车，用户几乎跑光！
- 华为Mate30美科技界：华为再强大也只是一家民企，我们究竟在怕什么？
- 深度解娱SJ|陈小纭怎么不会知道绿色含义，先暗示自己被绿又出面解释，看不懂