图像中|学习Hinton老爷子的胶囊网络,这有一篇历史回顾与深度解读( 二 )
其中输出 p 表示特征在胶囊中的概率。胶囊也有自己的 “生成单元”(图 2 中的绿色) 用于计算该胶囊对变换图像的贡献。如图所示,“生成单元”的输入为 x+Dx 和 y+Dy,“生成单元”对输出图像的贡献乘以 p,而那些不活动的胶囊则对输出图像没有影响。auto-encoder 之所以能产生正确的输出图像,关键在于每个活动胶囊所计算的 x 和 y 值都对应着实体本身实际的 x 和 y 的位置,因此,我们就大可不必事先非得知道这个实体本身的坐标原点。
为了演示这个方法的有效性,作者训练了一个有 30 个胶囊的网络,每个胶囊都有 10 个识别单元和 20 个生成单元。每个胶囊都能看到 MNIST 数字集的整体。输入和输出图像都分别在 x 和 y 方向上随机位移 - 2,-1,0,1,2,并且网络还将 Dx,Dy 作为了附加输入。
文章图片
图 3. 上图:最上一行是输入图片;中间一行是输出图片;最下一行是变换正确的图片。下图:前 7 个胶囊的前 20 个生成单元的输出权值 (Hinton et al., 2011)。
此外,如果每个胶囊有 9 个实数输出,那这些输出可以被看做 3*3 的矩阵,那么网络就可以用来完成二维仿射变换(平移,旋转,缩放和剪切)。使用矩阵乘法的另外一个优势是,它会使得处理 3D 图像变得更加容易。于是作者做了初步试验来衍生至计算机图形学,实验也取得了不错的效果,如下图所示。
文章图片
图 4. 左:训练数据的输入,输出和目标立体;右:训练数据中无样本车型的输入,输出和目标立体 (Hinton et al., 2011)。
(2) Dynamic routing between capsules
文章图片
2017 年,下一个版本的胶囊网络被提出,它定义了一个胶囊为一组具有实例参数的神经元,这些神经元代表着活跃的向量,向量的长度表示特征存在的概率 [3]。在一个活跃的胶囊内的神经元的活动代表了存在于图像中一个特征的实体。这些属性可以包括许多不同类型的实例化参数如姿态 (位置,大小,方向),变形,速度,反照率,色调,纹理等。向量输出的长度通过施加一个矢量运算使得它的胶囊的方向保持不变,但是长度为单位长度,目的是为了缩小了它的规模。因为一个胶囊的输出是一个矢量,这让使用强大的动态路由使得信息在胶囊间传输变得可能。
在路由过程中,输出矢量被路由到所有可能的父节点,并且这些矢量通过乘以总和为 1 耦合系数缩小了尺度。对于每一个可能的父结点,胶囊通过自己的输出和一个权值矩阵相乘计算出一个“预测向量”。如果该预测向量与父结点的输出有较大的标量积,那么自顶向下的反馈结构就会增加了父节点的耦合系数而减少其他父节点的压力。这样的反馈机制进一步增加了胶囊的预测向量和父节点输出的标量积,从而增加了胶囊的贡献。这种“routing-by-agreement” 的方式应该比最原始的最大池化实现路由的形式要有效得多。
这个版本的胶囊网络相比上一个最大的改进是不再需要姿态数据作为输入,它主要由卷积层 (Convolutional layer),初级胶囊层 (Primary capsule layer) 和分类胶囊层 (Class capsule layer) 组成。卷积层使用特征学习检测器的版本,这在图像解释中被证明是十分有用的。初级胶囊层是第一层胶囊层,分类胶囊层为最后一个胶囊层。输入图像的特征提取是由卷积层来完成,随后提取的特征被送入初级胶囊层。
虽然我们用矢量输出胶囊和“routing-by-agreement” 取代 CNNs 的标量输出和 max-pooling,我们仍然希望在不同空间中提取我们所学到的知识。对于初级胶囊,有关位置信息的 “位置编码” 胶囊是活跃的。随着胶囊等级的上升,越来越多的位置信息被 “速率编码” 包含在胶囊输出向量的实值分量中。这种从 “位置编码” 到“速率编码”的转变,还有高级胶囊包含更复杂的实体和拥有更多的自由度共同表明了胶囊的维度应该随着深度逐渐增加。
这个版本最重要的就是动态路由的提出。首先,我们想要一个胶囊的输出向量的长度来表示这个实体在胶囊中存在的概率。因此我们使用非线性的 “squashing” 函数,以确保向量归一化到 0 和 1 之间。
文章图片
具体来说,每个在初级胶囊层 l 的胶囊为 ui, 它将空间信息编码到实例化的参数中,ui 的输出被送入下一层 l+1, 下一层有 j 个胶囊。由 ui变换到 uj根据了相对应的权值矩阵 Wij. sj是所有初级胶囊输出 j 的权值总和,vj 是压缩 (squashing) 后的值,这个压缩函数确保输出的长度在 0 和 1 之间。cij 是耦合系数,它保证了来自 l层的 i个胶囊连接到 l+1 层的 j 个胶囊。在每次迭代中,cij 会不断被 bij 更新。其过程和伪代码如下图:
文章图片
文章图片
推荐阅读
- 学习|王一博带着天天兄弟自驾游,和“以家团”学习露营技能,画面真实
- 260|西海岸新区260家文化经营单位集中学习五大服务规范
- 孩子想到|教育专家张敏:超度学习会让孩子产生厌学心理,玩耍时间是必须的
- Apple|苹果公布新的AI和机器学习培训计划
- 测评|火箭猫定制学AI测评 用权威和专业护航高效学习
- 贾云海|《智慧学习方程式》贾云海:勤学苦练须讲究方式
- |《智慧学习方程式》贾云海:勤学苦练须讲究方式
- | 多地确定开学时间,讯飞智能学习机助力学子实现新逆袭
- 学习|成功通关1065题! 学习达人刘立凡教你如何挑战“学习强国”
- 喜马拉雅|喜马拉雅“91学习季”上线少儿教育频道抢跑新学年