空白键|DropBlock正则化的介绍
作者：dhwani mehta
编译：ronghuaiyang
导读对CNN中一种更好的dropout方法的理解 。
正则化技术有助于避免数据科学专业人员面临的最常见的问题 ， 即过拟合 。 对于正则化 ， 已经提出了几种方法 ， 如L1和L2正则化、Dropout、Early Stopping和数据增强 。 这篇文章主要讨论DropBlock正则化技术 ， 它的性能大大优于传统的正则化方法 ， 特别是在使用卷积层时 。
DropBlock 算法的简单直觉DropBlock方法的引入是为了克服Dropout随机丢弃特征的主要缺点 ， 该方法被证明是全连接网络的有效策略 ， 但在特征空间相关的卷积层中效果不佳 。 DropBlock技术在称为块的相邻相关区域中丢弃特征 。 这样既可以实现生成更简单模型的目的 ， 又可以在每次训练迭代中引入学习部分网络权值的概念 ， 对权值矩阵进行补偿 ， 从而减少过拟合 。
在卷积层中使用Dropout在根本上有什么不一样？与全连接层dropout操作可以被理解为对神经网络权重矩阵的列进行归零操作 ， 这样就可以不对这个神经元进行训练 ， dropout在卷积层中不会产生同样的效果 ， 对于卷积的权重矩阵的列进行归零 ， 对于卷积核来说 ， 它仍然可以训练权重 ， 因为特征图的相邻区域是具有关联特征的 。
DropBlock算法DropBlock算法的主要参数是 a)要删除的块的大小 ， 即block_size ，b)需要删除多少激活单元 ， 即 ， 每个特征通道都有其DropBlock掩码 ， 即:
在DropBlock中block大小对于正则化的影响
直观地可以设计出 ， 当样本掩模M上的每一个零扩展为block_size X block_size大小的0 block时 ， 我们的feature map将有更多的特征需要删除 ， 在训练迭代中需要学习的权重的比例也将减少 ， 最终减少过拟合 。 因此 ， 用更大的block大小训练的模型去除了更多的语义信息 ， 从而使正则化更强 。 并且可以推断 ， 当block大小保持1时 ， DropBlock对应于Dropout ， 当block大小覆盖了全部feature map大小时 ， DropBlock类似于SpatialDropout 。
从上面的图中可以明显看出 ， 与其他曲线相比 ， 在绿色曲线(没有经过DropBlock训练的模型)的推理过程中 ， 随着保持概率的降低 ， 随着坡度越陡 ， 验证精度会迅速下降 。 由于在block大小为1时 ， DropBlock与Dropout相似 ， 因此 ， 在block大小为1时 ， 随着保持概率的降低 ， 验证准确性迅速下降 ， DropBlock在删除语义信息方面更加有效 。
γ在DropBlock中对于正则化的效果
这个参数描述了要删除的激活单元的数量 ， 这取决于keep_prob和block_size 。
其中：
keep_prob 是设置阈值概率 ， 所有低于这个值的元素都会去掉 。
feat_size 是特征图的尺寸
feat_size - block_size + 1 是有效的种子区域
可以推断出 ， keep_prob越大 ， 被删除的激活就越少 。
DropBlock策略
实验研究表明 ， 在训练过程中逐渐增加dropout单元的数量可以提高训练的准确率和对超参数选择的鲁棒性 。 在训练中保持固定的保持概率或在一开始就降低它的值会损害学习过程 ， 因为更多的激活单元会在一开始就被丢掉 ， 从而导致信息的丢失 。 随着时间的推移 ， 从1到目标值线性减少keep_prob可以提供更健壮的结果 。
推荐阅读
- 空白键|Cocos Creator中坐标空间的转换
- 空白键|Visual Studio 2019新特性：位操作
- 空白键|git 如何比较不同分支的差异
- 北京青年报|民政局门前“演离婚”博眼球 此类视频监管存在空白
- 北京青年报|“演离婚”博眼球 此类视频监管存在空白
- 空白键|罗技机械键盘249元！拒绝樱桃，延长寿命，学习国货双飞燕用料
- 津爱改装车|基于统一正则散列算法的多模数据分析
- 环球阿熊洞察|俄罗斯“赫尔墨斯”导弹系统，具备超音速打击能力，中国空白领域
- 空白键|CTemplar号称世界上最安全的邮箱
- VG战队|王者安卓q区惊现“诡异”现象，榜一职业标签神秘消失，电竞生涯空白