果壳|用AI还原地道京片子！作者大谷亲自揭秘老北京视频语音修复！( 二 )
本文插图
视频开头的小黄纸片
除了水印外 ， 由于年代差距 ， 这两段宣传片和正片的内容是不重复的 ， 再加上当时的工作人员不懂中文 ， 两段视频的时间顺序是完全乱掉的 ， 比如前一秒还是宣传片的内容 ， 后一秒就马上跳到了全片末尾 。
所以拿到这个视频之后 ， 大谷的第一个工作就是把视频重新剪辑到正确的时间流上 。
在声音的修复上 ， 当时制作团队所使用的录音设备无形之中帮到了大忙 ， 微博网友@失重的梁柱介绍道：
福克斯有声电影新闻在当时是比较新鲜的模式 。 区别于华纳兄弟开发了维他风（Vitaphone）和RCA 开发的光电留声机（Photophone） ， 福克斯的有声电影（Movietone）属于单摄影机系统 ， 可将声画同时录制到胶片上 ， 较之以往是十分便捷的 。 而目前所见的拍摄中国的原声影片 ， 很多都出自福克斯的这一系列 。
本文插图
得益于设备的先进 ， 视频本身的录音效果就已经足够好 ， 再加上南卡罗莱纳大学可能也进行了一些初步处理 ， 大谷所做的工作主要是底层去噪 ， 也就是处理掉那些经常出现在录音中的、吱吱的毛刺声 。
大谷表示 ， AE或PR里的去噪功能就很好 ， 系统首先会学习一小段噪音波形 ， 随后会自动把后续出现的噪音部分抵消 ， 这样的话听上去会清晰很多 。 但去噪主要针对以低频为主的声音 ， 处理后整体的声音效果听上去就会比较“干” ， 所以在去噪后 ， 大谷还加入了一些混响 ， 让声音听上去更自然 ， 当然文摘菌可是一点都没听出来 。
不过 ， 在盲人演奏的音乐部分 ， 大谷除了加了混响外 ， 基本没有做其他处理 ， 因为音乐本身的混声就比较严重了 ， 如果再去噪的话 ， 低音乐器的声音就会被掩盖住 。
随后 ， 大谷还介绍了一个声音修复的AI项目 ， 导入一段默片 ， AI系统就可以自动补充出音效 ， 比如导入《火车进站》 ， 系统就能补充火车的音效 ， 由远及近 ， 非常逼真 ， 有了这项技术就可以更轻松地对更多老电影进行声音修复了 。
不过 ， 这个项目还没有开源 ， 大谷表示他也会持续关注最新进展 。
本文插图
论文链接如下 ， 感兴趣的朋友们可以尝尝鲜：
http://bvision11.cs.unc.edu/bigpen/yipin/visual2sound_webpage/visual2sound.html 大谷说到 ， 这其实是第一次针对原声视频进行修复 ， 也是很有意义的一次进步 。 南卡罗莱纳大学影像库内部还保存有很多有声老视频 ， 也希望未来能够和他们继续取得联系 。
画面大升级：边缘更平滑 ， 整体效果更好了除了声音上的修复外 ， 文摘菌也注意到 ， 与第一期视频相比 ， 本次视频中画面上颜色跳来跳去的情况少了很多 ， 这与大谷使用的不同软件有着直接关系 。
大谷表示 ， 在画面分辨率上首先进行了进一步的提升 ， 与第一期不同 ， 本次修复主要使用的是Topaz ， Topaz在边缘的处理上要更加平滑 ， 画面效果也更好 。
其次就是利用到了DeepRemaster这项技术 ， 与这项技术的邂逅是在YouTube上的推荐流上 ， 这其实是GitHub上的一个开源项目 ， 目前还在研究中 。
GitHub链接：
发现这项技术之后 ， 大谷就发邮件征得了两位日本研究员的同意 。
在使用过程中 ， 大谷发现 ， DeepRemaster非常好上手 ， 可以导入一些手绘图或者历史图像作为参考图 ， 修复的效果就会稳定在参考图的范围内 ， 同时场景中颜色的抖动也变得更加平稳 。
在本次视频中 ， 盲人音乐家表演的部分和“黄渤”拍头的部分都是通过这个技术实现的 。
推荐阅读
- |蛤蜊壳、坚果壳属于什么的垃圾？
- 青年|节目组太不地道，不给张子枫开美颜还贴着脸拍，幸好她自带磨皮！
- 果壳|满屋子的灰尘天天扫地都弄不干净是咋回事？
- 推特|奥巴马、盖茨账号被黑，黑客神还原大V口吻设下低级骗局
- 中年|美国交通部报告还原737MAX认证及空难事件
- 果壳|我家WiFi名字后面有个“5G”，是不是网速会超快？
- 芯片微美全息自研5G全息芯片“接棒”华为，还原98%的数字仿真效果
- 果壳|检验你物理知识的时候到了！小孩玩具通关挑战，敢来吗？
- 青藏高原中部从沙漠到高山森林 科学研究“还原”4400万年前青藏高原变化
- 科技e视线|还原真实！vivo X50支持超光感夜摄，感光性能大提升