CSDN|一秒带你穿越！AI 修复百年前北京影像，路边摊、剃头匠太真实了
本文插图
作者 | 马超 责编 | 伍杏玲 封图 | CSDN 付费下载自东方 IC 出品 | CSDN（ID：CSDNnews） 近日 ， B站UP主“大谷的游戏创作小屋”发布的《我用人工智能修复了百年前的北京影像!![民俗乐队 ， 街边地摊与剃头匠]》（https://www.bilibili.com/video/BV1ga4y1e77T?zw）的视频 ， 随即该视频在在全网火爆刷屏 ， 目前已经在全网积累获得了超千万次的播放量 ， B站的star数也已经过万 。
本文插图
AI 修复老北京影像
这段视频当中分为了三个部分 ， 第一段是黑白影像到还原后的影像的对比图 ， 在这段中up主还特别感谢了完好地保存资料的美国南卡罗莱纳大学 ， 留下百年前北京的民俗小吃、街边剃头等等方面的第一手影像资料 。第二段则展示了当时北京的民俗民风：
本文插图
看看那个时代的“摇滚乐器”——京韵大鼓 ， 看到这段笔者都不禁哼起了幼时常听的一首歌：“我爷爷小的时候,常在这里玩耍 ， 高高的前门 ， 仿佛挨着我的家 ， 一蓬衰草 ， 几声蛐蛐儿叫 ， 伴随他度过了那灰色的年华 。 吃一串冰糖葫芦就算过节 ， 他一日那三餐 ， 窝头咸菜就着一口大碗茶” 。 这段视频与歌词的结合 ， 真实反应了当时的北京城的原貌 。第三段聚焦在一位小伙子街边剃头的场景 ， 根据up主的回应 ， 其中的音频是没有经过后期处理的 ， 这段完全使用京腔的对话 ， 是否也让你充满亲切呢？
本文插图
这短短的几分钟视频向我们传递了很多信息 ， 比如视频中出现的人物中男女比例接近20：1 ， 当时中国风气还是相当封建与保守 。 由于当时摄像设备非常大 ， 不排除视频中很多镜头可能都是摆拍的 。 但不管怎么说 ， 这是我们距离老北京距离最近的一次了 ， 无论是资料保存方南卡罗莱纳大学还是B站up主大谷 ， 都非常值得我们点赞 。
AI穿越老北京的背后
根据UP主大谷的介绍 ， 他主要使用的技术有两个一是上海交通大学电子信息与电气工程学院的博士生Bao Wenbo 等人提出的 DAIN 插帧技术（参见https://github.com/baowenbo/DAIN） ， 二是日本筑波大学和早稻田大学的两位研究者合作提出DeepRemaster（参考https://github.com/satoshiiizuka/siggraphasia2019_remastering） AI还原图像 ， 是典型的图像着色技术 ， 背后其实是信息补全和修复技术 。 而在这方面对抗神经网络（GAN)是占据统治地位的 。 下面将其技术发展脉络 ， 简单向各位读者做一下介绍： PIX2PIX图像修复的始祖：PIX2PIX这个模型github上很多 ， 笔者推荐大家可以参考（https://github.com/phillipi/pix2pix）来训练模型MODEL ， pix2pix是典型的对抗神经网络 ， 它实现由轮廓信息还原图像的功能 。目前读者可以到https://affinelayer.com/pixsrv/这个网站来感受一下如何从一个简笔画出的轮廓转换成真实的图像 。
后来N厂又提出了PIX2PIXHD技术 ， 将之前由PIX2PIX生成的图像分辨率提高了很多 ， 可以说PIX2PIX是这些信息修复与补全技术的始祖 。interactive-deep-colorization黑白图像瞬间变彩色：2017年加州大学伯克利分校的研究人员发表了一篇《Real-Time User-GuidedImage Colorization with Learned Deep Priors》的论文 ， 用LearnedDeep Priors的方式实时进行图像着色 ， （参考：https://github.com/junyanz/interactive-deep-colorization/） 该论文中所提出的模型会结合输入的灰度图像和简单的用户提示 ， 直接映射到卷积神经网络（CNN） ， 即可输出用户满意的彩色图 。传统的神经网络一般通过人为地定义相关规则 ， 并从大规模数据集中学习高级语义信息 ， 融合图像的低级特征 ， 来帮助用户对图像进行着色 。 我们通过模拟用户操作 ， 训练了一百万张图像 。 为了引导用户选择有效的着色方案 ， 该系统会根据输入图像和当前用户的输入来提出最佳的着色方案 。 图像着色仅通过单次前向传播即可完成 ， 计算量小 ， 可实时完成 。 最近生成的模型可以模拟用户输入 ， 快速地创建逼真的图像 ， 效果如下图：
推荐阅读
- CSDN|由 Apache 说开，中国开源项目已经走向世界！
- 中年|一篇文章带你搞懂网络爬虫过程中伪装浏览器的请求头常见字段
- 新智元|两图生万物！这个超强图像转换神器，小样本一秒猫狗合体变新物种
- |一文带你读懂区块链的本质
- CSDN|软件对于英特尔意味着什么？
- CSDN|中国首家苹果零售店重开业，苹果CEO库克发文揭幕；“携号转网”服务用户破千万；GitHub 完成北极源代码存档|极客头条
- 智能机器人|快商通智能客服云平台荣获CSDN“AI优秀案例实践奖”
- CSDN|万亿美元软件浪潮来临，开发者是核心！
- 行业互联网|快商通智能客服云平台荣获CSDN“AI优秀案例实践奖”
- CSDN|OpenInfra Days China 2020 官网正式上线，含免费注册通道！