机器之心不用穿越,也能体验百年前的老北京,这个AI修复视频火爆全网


机器之心报道
机器之心编辑部
一段 AI 修复的视频 , 让我们体验了一把 100 年前的老北京 。
机器之心不用穿越,也能体验百年前的老北京,这个AI修复视频火爆全网
本文插图
小贩叫?卖?、马车过街 , 修复后的视频可以清楚地展现熙熙攘攘的市井生活 。
机器之心不用穿越,也能体验百年前的老北京,这个AI修复视频火爆全网
本文插图
作揖问候的场景也清晰可见 。
?
你能想象 , 这些生动展现百年前国民生活的彩色影像 , 是使用人工智能技术修复的吗?
近日 , 这段使用人工智能修复老北京影像的视频在 B 站和微博上火了 , 引起了极大的关注 。 仅在 B 站上 , 阿婆主「大谷的游戏创作小屋」上传的这个旧影像修复视频已经获得 61.9 万的播放量、4.9 万点赞 。
网友们纷纷感叹「厉害」 , 视频「清晰连贯」 , 「让我们看到了 100 年前的 vlog」 。
机器之心不用穿越,也能体验百年前的老北京,这个AI修复视频火爆全网
本文插图
视频中 , 阿婆主使用人工智能技术 , 对民国初年的一段影像进行了上色、修复帧率和扩大分辨率的改动 , 从而彻底改变了这段 100 年前老旧影片 , 让我们能够更为细致地观看 100 年前人们的生活 。
与旧影像对比之后 , 我们能够对修复效果有更为直观的感受 。
机器之心不用穿越,也能体验百年前的老北京,这个AI修复视频火爆全网
本文插图

机器之心不用穿越,也能体验百年前的老北京,这个AI修复视频火爆全网
本文插图
视频修复前后在色彩、清晰度方面都有了很大的提升 , 修复前灰蒙蒙 , 修复后色彩鲜艳 。
那么从技术层面上看 , 究竟是如何做到这么惊艳的效果的呢?阿婆主表示 , 他也是参考了海外 YouTube 博主 Denis Shiryae 的影像修复教程 。
影像修复三大步骤
今年年初 , Denis 修复 1896 年经典电影的视频也在海外火了一把 。
电影界最著名的短片之一是 1896 年的一部无声电影《L’Arrivée d’un train en gare de La Ciotat》 , 画面很简单 , 只有 50 秒 , 描述的是一列火车驶入车站的场景 。 Denis 正式对这个经典的短片进行了 AI 修复 , 效果非常不错 。 下图可以看出修复前后画面的强烈对比:
机器之心不用穿越,也能体验百年前的老北京,这个AI修复视频火爆全网
本文插图
从 Denis 的网页介绍 , 我们可以看到整个修复过程主要针对三个核心点:4K 分辨率以及 60fps 的帧数 , 除此之外还增加了背景颜色和声音的效果 。
机器之心不用穿越,也能体验百年前的老北京,这个AI修复视频火爆全网
本文插图
DAIN 插帧技术
在增加 FPS 方面 , Denis 表示他主要应用了由上海交大 Bao Wenbo 等人提出的 DAIN 插帧技术(参见论文《Depth-Aware Video Frame Interpolation》) 。

机器之心不用穿越,也能体验百年前的老北京,这个AI修复视频火爆全网
本文插图
项目地址:https://sites.google.com/view/wenbobao/dain
这项研究提出通过探索插帧中的 depth cue , 来显式地检测遮挡 。
研究者开发了一个深度感知的光流投影层来合成中间流(中间流倾向于对距离较近的对象进行采样) , 并学习层级特征作为语境信息 。 然后 , 该模型基于光流和局部插值 kernel 将输入帧、深度图和语境特征进行变形处理 , 最后合成输出帧 。
DAIN 模型的架构如下图所示:
机器之心不用穿越,也能体验百年前的老北京,这个AI修复视频火爆全网
本文插图


推荐阅读