单帧风景照变延时摄影，分分钟搞定，还能有昼夜变化
边策 鱼羊 发自 凹非寺量子位 报道 | 公众号 QbitAI
本文插图
潮起浪涌 ， 拍击礁石 。
你以为这是慢动作录制的自然片段？
非也 。
本文插图
只要一张静态风景照 ， 几分钟之内 ， AI就能还原出这自然界的壮阔动态 。
延时摄影 ， 慢动作效果 ， 一图即可复现 。
画质是清晰的1080p ， 入门门槛却不高 ， 仅需一个GPU和几百兆字节的预训练数据 。
纪录片缺素材 ， 后期制作太麻烦？有了这只AI就不怕了 。
这项来自日本筑波大学的研究 ， 登上计算机图形学顶会SIGGRARH Asia ， 预训练模型和代码均已开源（地址见文末） 。
还原自然的云卷云舒
这只AI ， 专注于自然界云与水的律动 。
本文插图
△输出
本文插图
△输入
天上云卷云舒 ， 水面云的倒影也会随之移动 。
不仅有空间移动 ， 晨光暮色 ， 亦能动态呈现 。
本文插图
△4倍速
像不像记录片里的片段？
不仅如此 ， 天空云涌 ， 水面潮起 ， 在这场AI的魔术表演中 ， 就像在自然界中一样两不相误 。
本文插图
与前辈作品相比 ， 这样的表现完全是大师级别 。
本文插图
△上排为前辈作品 ， 下排为新方法
难怪网友惊叹：这太美了！
本文插图
【单帧风景照变延时摄影，分分钟搞定，还能有昼夜变化】原理
这一魔法的实现 ， 需要以下相关的工作：光流预测、风格迁移、视频预测等 。
光流是一种描述图像中各像素运动速度和方向的方法 ， 根据物体相邻两帧的差异可以计算出图像的光流 ， 同样也可以根据光流推测是视频下一秒可能的样子 。
本文插图
风格迁移通过感知损失的反向传播来优化输出图像 ， 在保留源内容的前提下 ， 改变图像的风格 ， 而本文中 ， 风格迁移的主要作用是对图像中变化部分的颜色进行更改 。
去年有人提出了通过风格迁移方法实现图像的昼夜交替、四季更迭的转换 。 而输出视频的难度在于要实现这种变换的平滑性 。
下图展示了视频合成的整个流程：给定输入图像和控制未来变化的潜在代码 ， 运动预测器会生成将来的向后光流（backward flows） 。
本文插图
这些流使输入图像变形 ， 合成添加了运动的图像 ， 然后将它们转换为运动循环 。
但是 ， 仅仅让图片动起来还不够 ， 由于延时摄影的特点是时间长 ， 在这段时间里 ， 天色还会变暗 。
因此还要对整张图片的色调进行更改 ， 不是简单的调个色 ， 而是要让视频画面的颜色随着时间推进平滑地过渡 。
这就是外观预测器负责的工作 ， 它能够更改运动预测器生成图片的颜色 ， 从而获得输出视频 。
推荐阅读
- 系统|Android 10系统因风景壁纸而崩溃
- 【】将拍照变成魔术，小米10青春版不一样的拍照体验
- 太平洋电脑网最近入手了这款旗舰 朋友都说我拍照变好看了
- 冬季风景照怎样拍出不一样的冬季风景照？
- 骑行猜！昊然弟弟骑行是“风景派”还是“风速派”
- 「」超远距双目变焦，华为P40 Pro+让远近风景皆成画
- 搜狐新闻■“宅”家莫愁：微软发布多款全新静物/风景Windows 10 4K壁纸包
- [课堂]变客厅为课堂 大屏教育“风景这边独好”
- 机器人■英国小镇疫情期间迎来新“风景”：机器人每天忙送货
- 【风景照】7个简单技巧，在天气不好时让你拍好风景照！