分辨率|新的超分辨率方法无需不断放大即可显示出精美的细节

分辨率|新的超分辨率方法无需不断放大即可显示出精美的细节
本文图片

【分辨率|新的超分辨率方法无需不断放大即可显示出精美的细节】左和右显示样本上相同区域的伪彩色电子显微镜图像 。 但是 , 右图是使用Yu Ding博士的新图像处理方法超级解析的 。 图片来源:德克萨斯农工大学工程学院
自1930年代初以来 , 电子显微镜为空前的小世界提供了前所未有的途径 , 揭示了复杂的细节 , 而这些细节用传统的光学显微镜是无法分辨的 。 但是 , 为了在较大的样品区域上实现高分辨率 , 需要提高电子束的能量 , 这既昂贵又不利于观察中的样品 。
得克萨斯州A&M大学的研究人员可能已经找到了一种新的方法 , 可以改善低分辨率电子显微照片的质量 , 而又不会损害样品的完整性 。 通过在来自相同样本但物理分辨率不同的成对图像上训练深度神经网络(一种人工智能算法) , 他们发现可以进一步增强低分辨率图像中的细节 。
“通常 , 高能电子束会在需要更高图像分辨率的位置穿过样品 。 但是 , 通过我们的图像处理技术 , 我们可以仅使用一些较小尺寸的高分辨率图像来超分辨整个图像” , Wm Michael Barnes '64工业和系统工程系的Yu Ding博士 , Mike和Sugar Barnes教授说 。 “这种方法的破坏性较小 , 因为不需要用高能电子束扫描样品的大部分 。 ”
研究人员于6月在电气与电子工程师协会的图像处理事务中发表了他们的图像处理技术 。
与光学显微镜不同 , 在光学显微镜中 , 光子或一小束光被用来照亮物体 , 而在电子显微镜中 , 则利用电子束 。 然后收集从物体反射或穿过物体的电子 , 以形成图像 , 称为电子显微照片 。
因此 , 电子束的能量在确定图像的分辨率中起着至关重要的作用 。 即 , 能量电子越高 , 分辨率越好 。 但是 , 损坏标本的风险也增加了 , 这类似于可见光的高能亲戚紫外线如何损坏敏感材料(如皮肤) 。
丁说:“科学家总是有两难境地 。 ” “为了保持标本的完整性 , 很少使用高能电子束 。 但是 , 如果不使用高能束 , 则高分辨率或以较小尺度观察的能力将受到限制 。 ”
但是 , 有些方法可以使用低分辨率图像获得高分辨率或超分辨率 。 一种方法涉及使用基本上相同区域的多个低分辨率图像 。 另一种方法学习小图像块之间的常见模式 , 并使用无关的高分辨率图像来增强现有的低分辨率图像 。
这些方法几乎只使用自然光图像而不是电子显微照片 。 因此 , 由于光学和电子显微镜的基本物理原理是不同的 , 因此它们对于超分辨电子显微照片会产生问题 , Ding解释说 。
研究人员转向给定样品的低分辨率和高分辨率电子显微镜对 。 尽管这些类型的对在公共图像数据库中不是很常见 , 但在材料科学研究和医学成像中却相对常见 。
对于他们的实验 , 丁和他的团队首先拍摄了一个低分辨率的标本图像 , 然后将大约25%的观察区域置于高能电子束下 , 以获取高分辨率的图像 。 研究人员指出 , 高分辨率和低分辨率图像对中的信息紧密相关 。 他们说 , 即使可用数据集可能很小 , 也可以利用此属性 。
为了进行分析 , 丁和他的团队使用了22对注入纳米粒子的材料的图像 。 然后 , 他们将高分辨率图像及其在低分辨率图像中的等效区域分成三乘三的子图像 。 接下来 , 每个子图像对用于“自我训练”深度神经网络 。 训练后 , 他们的算法在识别图像特征(例如边缘)方面变得很熟悉 。
当他们在没有高分辨率对应物的低分辨率图像的新位置上测试经过训练的深度神经网络时 , 他们发现他们的算法可以将难以辨别的特征最多增强50% 。
尽管他们的图像处理技术显示出很大的希望 , 但丁指出 , 它仍然需要大量的计算能力 。 在不久的将来 , 他的团队将指导他们的工作 , 以开发速度更快 , 并且可以由较少的计算硬件支持的算法 。
丁说:“我们的配对图像处理技术揭示了以前无法分辨的低分辨率图像中的细节 。 ” “我们都熟悉智能手机上的魔杖功能 。 它使图像更清晰 。 从长远来看 , 我们的目标是为研究界提供一种类似的便捷工具来增强电子显微照片 。 ”


    推荐阅读