凤仙郡天下杂谈|CVPR 最佳论文：无需任何监督，即可重建三，“后浪95后”吴尚哲的
原创陈大鑫、蒋宝尚AI科技评论昨天
文章图片
作者|陈大鑫、蒋宝尚
编辑|丛末我有一张二维照片 ， 能让它变成三维图像么？可以 ， 当前的一些3D电影相册工具 ， 给图片加一个相框也能形成动态效果 。 另外 ， 用PS软件 ， 进行一步、两步、三步等等操作后 ， 也可以2D变3D ， 只不过即使技艺精湛的设计师也需要花费一点时间 。
然而 ， 这届的CVPR最佳论文提出了一种无监督的方法 ， 能够常准确地从单目图像中恢复人脸、猫脸和汽车的三维形状 。 效果如下：
文章图片
上下左右 ， 前前后后 ， 充分展示了三维图像的“长宽高”? 。 重建的三维人脸包含了鼻子、眼睛和嘴的细节 ， 即使在极端的面部表情下表现也非常优秀 。 
文章图片
抽象图片与动漫图片也不在话下?
文章图片
除了重建三维 ， 二维图像的照明效果也能调一调?~
文章图片
无需微调就可逐帧应用 ， 充分实现“你动我也动”? 。 这篇论文也正是因为其提出方法优越的性能和其潜在的应用前景 ， 被选中为CVPR2020最佳论文 。 另外 ， 代码也已经开源 。 
文章图片
论文链接：https://arxiv.org/abs/1911.11130代码地址：https://github.com/elliottwu/unsup3d项目地址：https://elliottwu.com/projects/unsup3d/Demo地址：http://www.robots.ox.ac.uk/~vgg/blog/unsupervised-learning-of-probably-symmetric-deformable-3d-objects-from-images-in-the-wild.html这篇名为《UnsupervisedLearningofProbablySymmetricDeformable3DObjectsfromImagesintheWild》的论文由牛津大学的吴尚哲、ChristianRupprecht、AndreaVedak三位合著 。 其中 ， 第一作者是来自香港科技大学2014级的本科生吴尚哲 ， 2018年本科毕业后进入了牛津大学视觉几何组 ， 师从欧洲计算机科学家AndrewVedaldi ， 另外 ， 这篇论文的第三作者也是AndrewZisserman的博士后AndreaVedaldi 。 同样 ， 这项工作也得到了FacebookResearch和ERCHorizon2020研究与创新计划的支持 。 1
模型简介与方法介绍
前面也提到 ， 这篇最佳论文最亮的点是：基于原始单目图像学习3D可变形物体类别 ， 而且无需外部监督 。 具体而言 ， 其使用的方法是基于一个自动编码器 ， 这个编码器能够将每张输入图像分解为深度、反射率、视点和光照四个组件 。 整体模型结构如下：
文章图片
在论文中 ， 作者提到 ， 为了在无监督的情况下分离这些组件 ， 其利用许多物体类别至少在原则上具有对称结构这一事实 。 另外 ， 作者通过预测一个对称概率图 ， 对可能对称但不确定对称的物体建模 ， 并与模型的其他组件进行端到端学习 。 实验结果表明 ， 作者的方法能够在不需要任何监督和先验形状模型的情况下 ， 非常准确地从单目图像中恢复人脸、猫脸和汽车的三维形状 。 在基准测试中 ， 与另一种使用2D图像对应级别的监督方法相比 ， 作者的方法有着优越的准确性 。 在具体建模过程中 ， 作者在两种具有挑战性的条件下进行研究 ， 第一个条件是没有2D或3D的groundtruth信息(如关键点、分割、深度图或3D模型的先验知识)可用 。 第二个条件是 ， 该算法必须使用无约束的单目图像集合 。 针对这两个条件 ， 作者整体的学习算法过程是：先摄取大量可变形对象类别的单视图图像 ， 然后输出一个深度网络 ， 并且该网络可以根据给定的单一图像估计任何实例的3D形状 。
推荐阅读
- 天下快谈|网友：这下川普要慌了，又一好消息传来！美国巨头突然“认怂”
- 凤仙郡天下杂谈|“百相生”开启社交4.0时代，寻找三观一致的你
- 少年一梦|绝招在手，天下我有，网络货运六大杀手锏
- 极速说天下|Pro尊享版来了？或改名“Ultra”立足中高端，本月发布，K30
- 潮车行天下|玛莎拉蒂海王星全新引擎震撼登场，首次引进F1尖端技术
- 搞机研究社|安兔兔发布6月份android手机性能榜：第一个榜单是骁龙865的天下
- 天下有警视频|却对中国无计可施？这一优点太重要了，为啥美国能搞垮四个强国
- 太平洋电脑网|荣耀X10Max、荣耀30青春版今天下午登场，潮流科技一触即发
- 「腾讯」腾讯VS老干妈的大瓜：假公章骗了企鹅；支付宝：希望天下无假章
- 腾讯■腾讯遭遇诈骗，支付宝：希望天下无假章！