作者：Vardan Agarwal导读
编译：ronghuaiyang
深入研究所有不同EfficientNet结构的细节 。我在一个Kaggle竞赛中翻阅notebooks，发现几乎每个人都在使用EfficientNet 作为他们的主干，而我之前从未听说过这个 。谷歌AI在这篇文章中：https://arxiv.org/abs/1905.11946介绍了它，他们试图提出一种更高效的方法，就像它的名字所建议的那样，同时改善了最新的结果 。一般来说，模型设计得太宽，太深，或者分辨率太高 。刚开始的时候，增加这些特性是有用的，但很快就会饱和，然后模型的参数会很多，因而效率不高 。在EfficientNet中，这些特性是按更有原则的方式扩展的，也就是说，一切都是逐渐增加的 。
文章插图
不明白发生了什么？不要担心，一旦看到了架构，你就会明白了 。但首先，让我们看看他们得到了什么结果 。
文章插图
由于参数的数目相当少，这个模型族是非常高效的，也提供更好的结果 。现在我们知道了为什么这些可能会成为标准的预训练模型，但是缺少了一些东西 。
共同之处首先，任何网络都以它为主干，在此之后，所有对架构的实验都以它为开始，这在所有8个模型和最后的层中都是一样的 。
文章插图
之后，每个主干包含7个block 。这些block还有不同数量的子block，这些子block的数量随着EfficientNetB0到EfficientNetB7而增加 。要可视化模型层，代码如下：
!pip install tf-nightly-gpuimport tensorflow as tfIMG_SHAPE = (224, 224, 3)model0 = tf.keras.Applications.EfficientNetB0(input_shape=IMG_SHAPE, include_top=False, weights="imagenet")tf.keras.utils.plot_model(model0) # to draw and visualizemodel0.summary() # to see the list of layers and parameters如果你计算EfficientNet-B0的总层数，总数是237层，而EfficientNet-B7的总数是813层！！但不用担心，所有这些层都可以由下面的5个模块和上面的主干组成 。
文章插图
我们使用这5个模块来构建整个结构 。
- 模块1 — 这是子block的起点 。
- 模块2 — 此模块用于除第一个模块外的所有7个主要模块的第一个子block的起点 。
- 模块3 — 它作为跳跃连接到所有的子block 。
- 模块4 — 用于将跳跃连接合并到第一个子block中 。
- 模块5 — 每个子block都以跳跃连接的方式连接到之前的子block，并使用此模块进行组合 。
文章插图
- 子block1 — 它仅用于第一个block中的第一个子block 。
- 子block2 — 它用作所有其他block中的第一个子block 。
- 子block3 — 用于所有block中除第一个外的任何子block 。
EfficientNet-B0
文章插图
EfficientNet-B0架构 。(x2表示括号内的模块重复两次)
EfficientNet-B1
文章插图
EfficientNet-B1的结构
EfficientNet-B2它的架构与上面的模型相同，唯一的区别是特征图(通道)的数量不同，增加了参数的数量 。
EfficientNet-B3
文章插图
EfficientNet-B3的结构
EfficientNet-B4
文章插图
EfficientNet-B4的结构
EfficientNet-B5
文章插图
EfficientNet-B5的结构
EfficientNet-B6
文章插图
EfficientNet-B6的结构
EfficientNet-B7
文章插图
EfficientNet-B7的结构
很容易看出各个模型之间的差异，他们逐渐增加了子block的数量 。如果你理解了体系结构，我鼓励你将任意的模型打印出来，并仔细阅读它以更彻底地了解它 。下面的表表示了EfficientNet-B0中卷积操作的内核大小以及分辨率、通道和层 。
推荐阅读
- 古代四大美男卫玠长什么样 被看死的古代帅哥卫玠
- 上海的名酒是什么 上海的地名来历
- 我用过的几款SSH客户端工具
- 历史上篡位 历史上夺权篡位的人
- 八阿哥胤禩妻子 历史上真实的八阿哥胤禩
- 三分钟搞懂SQL的Case函数
- 汇编语言的使用领域
- 谁继承成吉思汗的汗位 谁继承了窝阔台的汗位
- 使用sklearn中的贝叶斯算法建立药品分类任务
- C 与 C++ 40 年的爱恨情仇