江苏龙网

  1. 首页 > 资讯 > 科技 > >

[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感( 三 )


共同一作有三位 。
Ben Mildenhall ， 本科毕业于斯坦福大学 ， 目前在伯克利电气工程与计算机科学系（EECS）助理教授吴义仁（Ren Ng）门下读博 。致力于计算机视觉和图形学研究 。
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

Pratul P. Srinivasan ， 同样为伯克利EECS在读博士 ， 师从吴义仁和Ravi Ramamoorthi 。
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

Matthew Tancik ， 前面两位作者的同门 ， 本硕毕业于MIT 。除了专注于计算机成像和计算机视觉研究外 ， 他还是一位摄影爱好者 。
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

1个GPU就能完成优化 ， 优化后渲染又只需要1-30秒 ， 如此方便又效率的项目 ， 还不快来试试？One More Thing
最后 ， 还想介绍个这方面有意思的研究 。
NeRF确实强 ， 但在输入上还需要多张照片……
那么有没有方法 ， 一张图片就能玩3D效果呢？
问就有 。
之前 ， Adobe的实习生就提出了一个智能景深算法 ， 单张2D图片秒变3D 。
让我们感受下效果 。
也是很有大片既视感了 。
而最近 ， 同样是单张2D图片变3D ， 台湾清华大学的研究人员 ， 在老照片上玩出了新花样 ， 论文入选CVPR 2020 。
你看看女神奥黛丽·赫本 ， 看看毕加索 ， 看看马克吐温：
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

感觉以后看照片——摇一摇更有感觉啊 。
再来看看“登月”、“宇航员和民众握手”照片裸眼3D效果：
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

颇有点身临其境之感 。
与此前介绍过的Adobe的算法（后台加链接）类似 ， 这一3D图像分层深度修复技术的核心算法 ， 同样有关上下文感知修复：
初始化并切割分层深度图像（LDI） ， 使其形成前景轮廓和背景轮廓 ， 然后 ， 仅针对边缘的背景像素进行修补 。从边缘“已知”侧提取局部上下文区域 ， 并在“未知”侧生成合成区域（如下图c所示） 。
[]2D变3D，视角随意换，且不用3D建模，谷歌伯克利神还原高清立体感
文章图片

文章图片

说起来 ， 对于个人视频制作者、游戏开发人员 ， 以及缺乏3D建模经验的动画公司来说 ， 这类技术的成熟 ， 可谓“福音” 。
通过AI技术 ， 让3D效果的实现进一步简化 ， 这也是Facebook、Adobe及微软等公司纷纷投入这方面研究的原因所在 。
最后 ， 这个项目的代码也开源了……
稿子还没写完 ， 我就准备好一系列“雪藏”已久的照片要试试了 。
这也是最近看到最酷的3D图片方面的突破了 。
如果有更酷的 ， 也欢迎留言分享~~传送门
项目主页：http://www.matthewtancik.com/nerfhttps://shihmengli.github.io/3D-Photo-Inpainting/
GitHub地址：https://github.com/bmild/nerfhttps://github.com/vt-vl-lab/3d-photo-inpainting
— 完 —
关注我们 ， 第一时间获知前沿科技动态


推荐阅读


上一篇：『』特斯拉降薪, Yelp裁员上千; Zoom被股东起诉; WeWork状告软银｜硅兔News

下一篇：@“隐藏”分辨率别着急 从简称了解显示器的“真相”