机器之心|一文探讨可解释深度学习技术在医疗图像诊断中的应用( 四 )


2.1.1 方法介绍
本文应用的 CNN 由 4 个卷积块组成 , 每个卷积块由 2 个卷积层组成 , 然后进行最大池化操作 。 卷积层的核大小为 3x3 , 分别有 8、16、32 和 64 个滤波器 。 接下来是 3 个全连接层 , 分别有 2056、1024 和 64 个隐藏单元 。 所有层都引入了校正的线性单位(ReLU)以满足非线性处理要求 。
对于 CNN 的每个特征映射 , 通过将特征映射重新缩放到输入大小并将激活映射到透明绿色的部分(深绿色 = 更高激活度)创建了一个可视化效果 。 接下来 , 作者检查了所有的视觉效果 , 并将这些与皮肤科医生提供的典型特征对应起来 。 特别是 CNN(6,7)的最后两层卷积层 , 能够帮助深入了解哪些图像区域更能吸引 CNN 的注意力 。 作者使用公开的 ISIC 档案的数据(https://isic-archive.com/) , 组成一个包括 12838 张皮肤镜图像的训练库 , 分为两类(11910 个良性病变 , 928 个恶性病变) 。 在预处理步骤中 , 图像被缩小到 300x300 像素的分辨率 , 并将 RGB 值在标准化处理到 0 和 1 之间 。 通过选取 224x224 像素的随机裁剪来增强训练集中的图像 , 并通过旋转(角度在 0 和 2π之间均匀采样)、随机水平和 / 或垂直翻转、调整亮度(在 - 0.5 和 0.5 之间均匀采样的因子)、对比度(在 - 0.7 和 0.7 之间均匀采样的因子)、色调(在 - 0.02 和 0.02 之间均匀采样的因子)和饱和度(在 0.7 和 1.5 之间均匀采样的因子)进一步增强每个裁剪后的图像 。 作者使用 96 个小批量训练了 192 个 epoch 的网络 , 并用 Adam 算法更新了网络的参数 , 初始学习率为 10±4 , 一阶和二阶动量的指数衰减率分别为 0.9 和 0.999 。
根据医生的诊断经验判断 , 边界不规则的皮肤病变边界可能表明存在恶性病变 。 图 1 所示的特征图在皮肤病变的边界上都有很高的激活率 , 但都处于边界的不同部位 。 第一张(a)检测的是病变的底部边界 , 而第二张(b)检测的是左侧边界 。
机器之心|一文探讨可解释深度学习技术在医疗图像诊断中的应用
本文插图

图 1. 病变边界上具有高激活度的特征图 。 过滤器(a)在底部边界激活 , 而过滤器(b)在左侧边界激活
同样的推理也适用于病变内部的颜色 。 颜色均匀的病变通常是良性的 , 而严重的颜色不规则可能是恶性病变的征兆 。 图 2 所示的特征图在病变处有较暗的区域时具有较高的激活度 , 这意味着颜色不均匀 。
机器之心|一文探讨可解释深度学习技术在医疗图像诊断中的应用
本文插图

图 2. 病灶内较暗区域高激活的特征图 , 表明病灶颜色不均匀
此外 , 医生一般认为皮肤颜色浅的人更容易晒伤 , 这会增加皮肤恶性病变的发生 。 因此 , 皮肤科医生在检查患者的皮损时会考虑到患者的皮肤类型 。 图 3 所示的特征图用于验证此特性 。 特征图(a)在白皙的皮肤中具有较高激活度 , 而特征图(b)在具有血管样结构的粉红色皮肤上具有高激活度 。
机器之心|一文探讨可解释深度学习技术在医疗图像诊断中的应用
本文插图

图 3. 对皮肤类型具有高激活度的特征图
从皮肤科医生的角度考虑 , 头发对于最终的诊断没有影响 。 如图 4 所示 , 毛发状的结构区域具有较高激活度 。
机器之心|一文探讨可解释深度学习技术在医疗图像诊断中的应用
本文插图

图 4. 特征图(7,8) , 在毛发状结构上具有高激活度
此外 , 作者还注意到一些特征映射对图像中的各种伪造影有很高的激活率 。 例如 , 如图 5 所示 , 一些特征图在镜面反射(specular reflections)、凝胶涂抹应用(gel application)或标尺(rulers)上具有高激活度 。 这突出了使用机器学习技术时的一些风险 , 即当这些伪造影在特定类的训练图像中显著存在时可能会对网络的输出产生潜在的偏差 。


推荐阅读