江苏龙网

  1. 首页 > 资讯 > 科技 > >

|ECCV 2020 | 空间-角度信息交互的光场图像超分辨，性能优异代码已开源


|ECCV 2020 | 空间-角度信息交互的光场图像超分辨，性能优异代码已开源
本文插图

本文解读的是ECCV 2020 论文《Spatial-Angular Interaction for Light Field Image Super-Resolution》 ， 论文由国防科技大学、上海科技大学、中山大学合作完成 。
作者 | CV君
编辑 | 丛 末
|ECCV 2020 | 空间-角度信息交互的光场图像超分辨，性能优异代码已开源
本文插图

论文链接：https://arxiv.org/pdf/1912.07849.pdf
代码链接：https://github.com/YingqianWang/ LF-InterNet
1
引言
光场（light field ， LF）相机可以记录当前场景多个视角的图像 ， 在重聚焦、深度估计、显著性检测、场景3D感知方面具有广泛应用 。
然而受硬件条件限制 ， 光场图像在空间分辨率（每个视角的图像分辨率）与角度分辨率（视角的采样密度）上存在制约关系 。
该文针对光场图像超分辨问题开展研究 ， 提升每个视角图像的空间分辨率 。
【|ECCV 2020 | 空间-角度信息交互的光场图像超分辨，性能优异代码已开源】作为底层视觉的一个关键任务 ， 图像超分辨在近年来受到了广泛关注 。 对于单幅图像 ， 超分辨算法需要充分利用低分辨率图像的上下文信息（空间信息）恢复高分辨率图像中对应的细节纹理 。
对于光场图像 ， 结合每个视角图像的空间信息与不同视角图像的互补信息（角度信息）可以提升超分辨的性能 。 然而由于光场图像的高维特性 ， 充分利用并结合空间信息与角度信息非常具有挑战性 。
该文提出光场“空间-角度”信息交互网络（LF-InterNet）实现光场图像超分辨：
首先 ， 该文结合光场的结构特性提出空间特征提取子（spatial feature extractor ， SFE）与角度特征提取子（angular feature extractor ， AFE） ， 分别用于提取光场图像的空间信息与角度信息 。
而后 ， 该文设计LF-InterNet对所提取的空间信息与角度信息进行渐进式交互融合 。
该文在6个公开数据集上对所提算法进行了测试评估 ， 实验结果表明LF-InterNet的性能达到了领域SOTA水平 ， 同时具有较小的参数量与较高的运行效率 。
2
方法
? 空间-角度信息提取
|ECCV 2020 | 空间-角度信息交互的光场图像超分辨，性能优异代码已开源
本文插图

图1 光场图像结构示意图
如图1所示 ， 光场图像按照左图方式进行排列可以组成阵列子图像（sub-aperture image ， SAI）；若将每幅阵列子图像相同空间位置的像元按照视角顺序进行排列 ， 则可以构成宏像元图像（macro-pixel image ， MacPI） 。 该文所提SFE与AFE均以宏像元图像作为输入 ， 如图2所示 。
|ECCV 2020 | 空间-角度信息交互的光场图像超分辨，性能优异代码已开源
本文插图

图2 空间特征提取子（SFE）与角度特征提取子（AFE）
图2为简化的光场宏像元图像示意图 ， 其中光场的空间分辨率与角度分辨率均为3*3 。 图中涂有不同底色的3*3区域表示不同的宏像元 ， 每个宏像元内的3*3像元标有不同的符号（十字、箭头等） ， 表示其属于不同的视角 。
AFE定义为kernel size=A*A ， stride=A的卷积（其中A为光场的角度分辨率 ， 图2中A=3）；SFE定义为kernel size=3*3 ， stride=1 ， dilation=A的卷积 。 注意到 ， 将AFE应用于宏像元图像时 ， 只有单个宏像元内的像元参与卷积运算 ， 而不同宏像元之间的信息不互通 。
同理 ， 将SFE应用于宏像元图像时 ， 只有属于相同视角的像元参与卷积运算 ， 而属于不同视角的像元不互通 。 因此 ， AFE和SFE可以分别提取光场的角度信息和空间信息 ， 实现信息的解耦 。


推荐阅读


上一篇：|不懂性能测试，被面试官挂了...

下一篇：|不能忍，1行代码竟然改了10天......