果壳|用AI还原地道京片子！作者大谷亲自揭秘老北京视频语音修复！( 三 )
当然 ， DeepRemaster技术本身也存在瓶颈 ， 不是所有的场景都能直接套用 ， 就大谷的个人经验来说 ， 对于动作剧烈或者是人脸很多的场景 ， 比如市井 ， 都没办法使用这项技术 ， DeepRemaster更适合那些静帧、平移的画面 ， 比如音乐表演 。
本文插图
在画面和声音的修复工作上 ， 大谷也进行了有机的结合 ， 比如电脑自动补帧的时候 ， 就可以利用空隙在PR上修复声音 ， 两个部分可以不矛盾地进行 ， 有时候会穿插着来 ， 也会返工二次修复声音部分 。
除了在声音和画面上的修复外 ， 我们也注意到 ， 在这次的项目上 ， 大谷也和央视进行了一次合作 ， 他表示 ， 自己主要负责技术修复 ， 央视主要负责宣发 ， “这也省了很多力气 ， 上传审核视频都是很费时的” 。
有了前两次的经验 ， 这次的修复显得要“顺手”很多 ， 整个制作周期大概持续了一个月的时间 ， 这段时间里 ， 其实也不是全身心地扑在这上面 ， 也有在开发自己的游戏 ， 做一些其他的项目 。
在和央视的合作过程中 ， 央视也会对整体的修复提出参考意见 ， 比如音乐的剪辑 ， 以及字幕的添加等 。 大谷感叹道 ， 添加字幕的过程同样也是一次学习的体验 ， 同时也可以让观众更好地理解人物对话 。
不只如此 ， 修复后的老视频在社交媒体上传播之后 ， 大谷收到了很多反馈 ， 比如第二期老视频的出处本来是模糊的 ， 后来有大神根据修复后的画面等信息综合后 ， 指出这是100年前老济南西门泺源门（濼源门） ， 这些都是宝贵的互动 。
破案过程 ， 欢迎围观：
神器DeepRemaster：如何把修复效果稳定在参考图范围内和第一期修复视频一样 ， 在这次新的视频过程中 ， 大谷仍然借鉴了YouTube博主Denis Shiryae的影像修复教程 ， 以及使用到了上海交大联合提出的DAIN补帧技术 。
除此之外 ， 如上文所说 ， 新一期视频中使用到的新技术DeepRemaster由日本筑波大学和早稻田大学两位研究者合作提出 ， 论文曾被计算机图形学顶会SIGGRAPH Asia 2019收录 。
本文插图
论文链接：
DeepRemaster之所以强大 ， 是因为它与近年来使用递归模型处理视频的方法不同 ， 该方法对老旧影像的修复是基于全卷积网络实现的 。
在这项研究中 ， 研究人员提出了一种单一框架 ， 该框架基于带有注意力机制的时间卷积神经网络 ， 主要以半交互的方式处理所有重制任务 。 同时 ， 论文提出的source-reference注意力 ， 允许模型在处理任意数量的彩色参考图像时 ， 不需要进行分割就能视频着色 ， 也很好地保持了时间一致性 。
本文插图
输入一系列的黑白图像 ， 通过预处理网络修复 ， 修复的结果作为最终输出视频的亮度通道 。 然后 ， source-reference网络将预处理网络的输出和任意数目的彩色参考图像结合 ， 产生视频的最终色度通道 。
在效果测试上 ， 研究人员对一些老视频进行了测试 ， 比如下图 ， 结果正如大谷所说 ， 在静止的场景内 ， 输入少量参考图像后 ， 系统就能输出稳定、一致的数千帧图像 。
本文插图
与以往的方法相比 ， DeepRemaster生成的图像与真实世界的色彩更加一致 。
本文插图
未来 ， 大谷表示 ， 他会继续关注新的技术和老视频修复领域 ， 也会尝试将这些新的AI修复技术利用到老视频修复上 。
推荐阅读
- |蛤蜊壳、坚果壳属于什么的垃圾？
- 青年|节目组太不地道，不给张子枫开美颜还贴着脸拍，幸好她自带磨皮！
- 果壳|满屋子的灰尘天天扫地都弄不干净是咋回事？
- 推特|奥巴马、盖茨账号被黑，黑客神还原大V口吻设下低级骗局
- 中年|美国交通部报告还原737MAX认证及空难事件
- 果壳|我家WiFi名字后面有个“5G”，是不是网速会超快？
- 芯片微美全息自研5G全息芯片“接棒”华为，还原98%的数字仿真效果
- 果壳|检验你物理知识的时候到了！小孩玩具通关挑战，敢来吗？
- 青藏高原中部从沙漠到高山森林 科学研究“还原”4400万年前青藏高原变化
- 科技e视线|还原真实！vivo X50支持超光感夜摄，感光性能大提升