算法|实现像素级无痕修复，这种AI算法能让物体在视频中消失 | 硬科技
_原题为 实现像素级无痕修复 ， 这种AI算法能让物体在视频中消失 | 硬科技 
文章图片
图源：图虫创意
【算法|实现像素级无痕修复，这种AI算法能让物体在视频中消失 | 硬科技】秋千荡到半空 ， 抓紧绳子的孩子不见了；刚刚被球杆击起的高尔夫球 ， 在半空中消失；漫步在戈壁的驴友 ， 下一步仿佛走进了时间黑洞....
这些是依托于一种叫做光流引导的方法实现的效果 。 在图片PS非常普遍的当下 ， 视频的像素级修复一直面临着诸多难题 ， 其主要问题在于 ， 1)保证时序上的连续型 2）在高分辨率下实现修复 3）降低视频对于计算的开销 。
近日 ， 弗吉尼亚理工学院和Facebook的科学家研发出一款最新的AI算法 ， 该算法可以让视频里任意物体完全消失 。 不仅如此 ， 该算法在视频去水印、物体移除、画面扩展等方面均有出色地表现 。 记载该算法的论文近日被计算机视觉三大国际顶级会议之一的ECCV收录 。
论文显示 ， 这种技术背后的原理叫做光流法（Optical Flow） ， 算法借助光流 (Optical flow) 来寻找不同帧之间的关系 ， 并通过在不同帧之间传播信息来补全 。
光流（Optical Flow）描述的是观察者眼里物体的运动情况 ， 观察者可以是肉眼 ， 也可以是摄像头 。 视频里每个像素点 ， 在帧与帧之间发生的位移 ， 都会被记录 。 光流法据此来估计物体发生了怎样的运动 ， 从而把它从背景里抠掉 。
文章图片
此外 ， AI还需要对扣掉的空白部分进行修补 ， 通过视频前后帧中已有的光流 ， 将空白的光流平滑推测出来 ， 并且在光流指导下对空白处进行色彩修复 。
与之前的技术相比 ， 该算法通过在梯度域进行操作来生成无痕结果 。 以往的基于光流的方法往往无法保持运动边界的清晰度 ， 使得修复后的画面不够平滑 。 论文的方法首先提取并完成运动边缘 ， 然后使用它们引导具有锐利边缘的分段平滑流完成 。
文章图片
带有伪影的处理图像
另外 ， 由于此前的方法是在相邻帧之间的局部光流连接中传播色彩 ， 但并非所有视频中被水印、物体遮住的区域都可以通过这种方式恢复 ， 就会造成伪影 。
论文的方法通过引入非局部流连接来缓解这个问题 ， 算法从光流当中提取出轮廓线 ， 如果提取的边界不完整 ， 就再把被遮挡部分平滑地修复出来 ， 使得视频内容能够在运动边界上传播 。
该文由四位研究人员合力完成 ， 包括弗吉尼亚大学的Chen Gao和Jia-Bin Huang ， 以及Facebook的Ayush Saraf和Johannes Kopf 。 其中 ， Chen Gao是本篇论文的一作 ， 该团队表示会在近期将这项技术开源 。
光流法的精进是在底层视觉核心算法上的突破 ， 依托该算法 ， 从体感上视频修复已经可以做到无痕抹除水印、无恒补全画面残缺 ， 在目标识别和影视后期中 ， 具备巨大发挥空间 。
推荐阅读
- 街舞3|嘉宾频频“串门”，节目实现“双赢”
- 科学|王莽有可能是穿越者吗？穿越时空可以实现吗？
- 科学|有哪些人可能是穿越回去改变历史的？穿越时空真的可以实现吗？
- 变革|从“传统电商”到“泛电商”：订单管理实现电商互联网产业变革
- 教育|洪恩教育今晚登陆纽交所：上半年刚实现扭亏盈利564万，管理层来自完美世界
- 蔚来|家族传统不能丢！广汽蔚来宣布将实现换电
- 城区|山东16市城区均实现5G网络全覆盖
- 新化|国庆中秋双节期间，新化旅游创佳绩，实现旅游收入2.1亿元
- 圣子|日本政府拟讨论“夫妻别姓”制度 称将力争最终实现
- 测评|亚马逊底层算法之“测评有话说”