江苏龙网

  1. 首页 > 资讯 > 科技 > >

[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感

十三 鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI
看到这张恐龙化石的动态图片 ， 你肯定会认为是用视频截出来的吧？
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

然而真相却是——完全由静态图片生成！
没错 ， 而且还是不用3D建模的那种 。
这就是来自伯克利大学和谷歌的最新研究：NeRF ， 只需要输入少量静态图片 ， 就能做到多视角的逼真3D效果 。
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

还需要专门说明的是 ， 这项研究的代码和数据 ， 也都已经开源 。
你有想法 ， 尽情一试~静态图片 ， 合成逼真3D效果
我们先来看下NeRF ， 在合成数据集(synthetic dataset)上的效果 。
可以看到 ， 这些生成的对象 ， 无论旋转到哪个角度 ， 光照、阴影甚至物体表面上的细节 ， 都十分逼真 。
就仿佛是拿了一台录影设备 ， 绕着物体一周录了视频一样 。
正所谓没有对比就没有伤害 ， 下面便是NeRF分别与SRN、LLFF和Neural Volumes三个方法的效果比较 。
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

【[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感】不难看出 ， 作为对比的三种方法 ， 或多或少的在不同角度出现了模糊的情况 。
而NeRF可谓是做到了360度无死角高清效果 。
接下来是NeRF的视点相关 (View-Dependent)结果 。
通过固定摄像机的视点 ， 改变被查询的观看方向 ， 将视点相关的外观编码在NeRF表示中可视化 。
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

NeRF还能够在复杂的遮挡下 ， 展现场景中详细的几何体 。
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

还可以在现实场景中 ， 插入虚拟对象 ， 并且无论是“近大远小” ， 还是遮挡效果 ， 都比较逼真 。
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

当然 ， 360度捕捉真实场景也不在话下 。
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

神经辐射场（neural radiance field）方法
这样出色的效果 ， 是如何实现的呢？
首先 ， 是将场景的体积表示优化为向量函数 ， 该函数由位置和视图方向组成的连续5D坐标定义 。具体而言 ， 是沿相机射线采样5D坐标 ， 来合成图像 。
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

而后 ， 将这样的场景表示参数化为一个完全连接深度网络（MLP） ， 该网络将通过5D坐标信息 ， 输出对应的颜色和体积密度值 。


推荐阅读


上一篇：『』特斯拉降薪, Yelp裁员上千; Zoom被股东起诉; WeWork状告软银｜硅兔News

下一篇：@“隐藏”分辨率别着急 从简称了解显示器的“真相”