建造自己的「天空之城」，这项研究可以虚空造物、偷天换日
机器之心报道
机器之心编辑部
看过宫崎骏动画电影《天空之城》的小伙伴 ， 想必偶尔会向往那座神秘的空中岛屿拉普达吧 。 近日 ， 密歇根大学安娜堡分校博士后研究员 Zhengxia Zou 进行了一项研究 ， 不仅可以创建空中堡垒 ， 更可以转变场景中的天气和光照 ， 让你有身临其境的感觉 。 此外 ， 这项研究完全基于视觉 ， 能够很好地应用于在线或离线场景 ， 且可以执行实时处理 。
本文插图
哈尔的移动城堡？天空之城？这幅图是否让你想起了这两部电影中的场景……
本文插图
上：《天空之城》剧照；下：《哈尔的移动城堡》剧照 。
是电影场景变为现实了吗？真的有人建造了一座空中楼阁？答案是也不是 。
这座空中城堡的确是人为「构建」的 ， 但并非真实存在 。 它是密歇根大学博士后研究员 Zhengxia Zou 近期一项研究所呈现的效果 。
本文插图
荒野、公路、疾驰的汽车 ， 还有天边的巨型神秘建筑物 ， 有科幻 / 末世电影内味儿了 。 然而 ， 这幅场景竟然是从晴空万里的画面转换而成的 。 公路片变身科幻片？！
别急 ， 还有大招 。 （以下示例左图为原始画面 ， 右图为处理后画面 。 ）
本文插图
右图场景是不是更像《天空之城》了？
本文插图
这场景让人想起一句歌词「打开这深夜 ， 抚摸寒星光 ， 我只想走进圆月亮」 。
除了改变天空（比如增加悬浮城堡、改变色彩和云朵等） ， 这项技术还能变换场景中的天气和光照 。
本文插图
今日天气多云转晴 。
本文插图
雷暴预警！一瞬间天昏地暗 ， 雷电交加 。
看起来 ， 这项技术似乎都可以用到电影业了 。 那它是如何做到的呢？
这项研究提出一种用于视频中天空置换与协调的视觉方法 ， 该方法能够在风格可控的视频中自动生成逼真的天空背景 。 以往的天空编辑方法要么针对静态图片 ， 要么需要在智能手机上集成惯性测量单元（IMU）以便拍摄视频 ， 而这项研究是完全基于视觉的 ， 对视频捕获设备没有任何要求 ， 还能很好地应用于在线或离线场景 。 此外 ， 该方法可以执行实时处理 ， 无需用户交互 。
研究人员将这个艺术加工过程分解成 3 个任务：天空抠图（sky matting）、运动估计和图像融合 ， 并在智能手机和行车记录仪在户外采集到的视频上进行了实验 ， 结果表明该方法在视觉质量以及光照、动态方面均具有高保真度和不错的泛化性 。
论文地址：https://arxiv.org/pdf/2010.11800.pdf
GitHub 地址：https://github.com/jiupinjia/SkyAR
项目主页：https://jiupinjia.github.io/skyar/
Google Colab 地址：https://colab.research.google.com/drive/1-BqXD3EzDY6PHRdwb3cWayk2KictbFaz?usp=sharing
方法
下图概述了该研究提出的方法 ， 它由 3 个模块组成：天空抠图网络、运动估计算法以及 skybox 。
推荐阅读
- 华为|网传速腾聚创代工华为车载激光雷达 华为回应：我们有自己的产线
- 电影|罗伯特·帕丁森谈自己的蝙蝠侠嗓音：穿上战衣就会出现
- 电影|吴京人民日报撰文谈拍《战狼》初衷：为什么中国不能有自己的当代硬汉形象
- 特斯拉|特斯拉车主因维修贵狠心炸掉自己的Model S：为何更换电池费用如此高昂？
- CPU处理器|龙芯：中国一定要建立自己的CPU生态 不能重复日本错误
- 打工人|元宇宙未至 打工人先行？捏脸师、虚拟场景建造师火了
- 周鸿祎|周鸿祎谈怎么保护元宇宙：各自为战保护自己的网络安全 已不现实
- 谷歌Pixel|近6000块的谷歌Pixel 6 Pro不送充电器！用户自己的充电器谷歌不认
- “八年了，我们终于有了自己的房间！”
- 生命的最后时刻，她反复指向自己的眼睛