PaperWeekly|ECCV 2020 | 史上最强二值化网络ReActNet，精度首超ResNet
北京联盟_本文原题：ECCV 2020 | 史上最强二值化网络ReActNet ， 精度首超ResNet
在众多卷积神经网络（CNN）压缩算法中 ， 二值化网络（BNN）作为网络量化的极端情况 ， 一直拥有着高压缩比 ， 高加速比的性能优势 ， 但是 BNN 的精度不高也一直饱受诟病 ， 阻碍了 BNN 在实际场景中的应用 。
今天和大家分享一篇 ECCV 2020 上发表的工作 ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions。 是 Bi-Real Net 作者在二值化研究领域的最新成果 。 该论文用简单的平移激活值分布的操作 ， 就取得了超过等同于实数值 ResNet 的精度 ， 可以说是长久以来对于 BNN 的艰苦探索的里程碑式的工作 。
本文插图
论文标题：ReActNet:Towards Precise Binary Neural Network with Generalized Activation Functions
【PaperWeekly|ECCV 2020 | 史上最强二值化网络ReActNet，精度首超ResNet】论文链接：https://arxiv.org/abs/2003.03488
代码链接：https://github.com/liuzechun/ReActNet
这篇文章通过简单的可学习的参数值 ， 达到优化 Activation 的分布的目的 ， 从而增加 BNN 的中激活值所携带的信息量 。 仅仅通过这一简单的改进 ， 配合 Distributional Loss ， 本文 ReActNet ， 便可压缩 MobileNet V1 至 87M FLOPs ， 并且取得高达 69.4% 的精度 。
这比著名的 XNOR-Net 的结果 51.2% 要高出了 18.2% ， 而所需的 FLOPs 也几乎仅仅是 XNOR-Net 的 1/2 。 同时 ， 69.4% 的精度已经超过 69.3% 的实数值 ResNet 精度 ， 这也是首次 BNN 网络能取得和实数值 ResNet 网络同等高的精度 ， 揭示了 BNN 的巨大潜力 。
下图是 ReActNet 与各个方法的对比 。
本文插图
而达成这个高精度的网络 ReActNet 的核心 ， 其实是非常简单直接操作 。 作者通过实验发现 ， BNN 卷积输出的特征图很难同时兼顾携带足够的特征信息和保证输出值范围适合下一层二值化操作 。 即 ， 如果直接对网络中传递的实数值进行取 Sign 操作 ， 可能会遇到由于实数值范围不合适而导致的二值化特征图携带信息量低 。 如下图所示 。
本文插图
只有在特征图的取值范围合适的时候（图（b）） ， 所输出的二值化特征图才是包含最多信息量和最容易被网络是别的 。
基于这个观察 ， 作者提出了 Generalized Sign 和 PReLU 函数 ， 称之为 RSign （ReAct Sign）和 RPReLU （ReAct PReLU） ， 通过一个可学习的位移量来让网络自动学习最适合的 binary 阈值和 Activation 的分布 。
本文插图
直观的理解 ， 比如 RPReLU 所做的事情就是 Move Activation Distribution ， Reshape ， Move 。 移动 ， 重塑 ， 再移动 。 如下图所示 。
本文插图
结合 Distributional Loss 和基于 MobileNet V1 的网络改进 ， 用了RSign 和 RPReLU 的 ReActNet 能在 ImageNet 数据集上取得了 69.3% 的 Top-1 Accuracy ， 超过了 State-of-the-art 的结果 。 而从网络内部的 Activation 分布中也可以看出 ， 增加了 RSign 和 RPReLU 的 ReActNet 有更强的表达能力 ， 可以捕捉到更精细的 Activation distribution 。
推荐阅读
- 威尔士|Alexander McQueen2020年秋冬系列：威尔士格纹
- 流行色|2020最美秋季流行色公布，高级感立现！
- 科技小新迷|2020年迎来了动力电池报废的高峰期，很多人后悔买新能源汽车
- 中型车|2020款大众帕萨特真的好吗？来听听车主的真实用车感受吧
- |2020年1-6月全国各省市医院诊疗人次数排行榜：北京下降明显
- 荷塘|2020圆明园荷花季（六）荷花映水
- 头排看客|失望！AJ35正式曝光！2020年度旗舰鞋也太拉胯了吧
- 汽车知识|2020年斯巴鲁傲虎的汽车评测
- 装修|让设计回归生活 -- 2020中国私宅设计年会圆满落幕
- 网通社|居家新选择，2020启腾EX80上市，售5.58万元