三维部件魔法拼装！北大&斯坦福利用动态图网络学习生成( 二 )
以上各个模块具体的实现和训练细节请参见论文 。
文章插图
图2. 我们部件拼装动态图神经网络的框架结构
3实验结果我们的实验是在 PartNet [1] 数据集上进行的 。 我们和之前一些方法（如 ComplementMe [2], PQ-Net [3] 等）的变体以及我们自己方法的几个变体都进行了对比 ， 展示了定性和定量的结果 ， 证明了我们的方法在部件拼装任务中的优越性 。 图3展示了定性的对比结果（左） ， 此外 ， 利用 VAE 类似的思想 ， 我们的方法还可以产生多模态的输出（右） 。
文章插图
图3. 不同方法在部件拼装任务上的对比（左）以及我们的方法可以产生多模态的输出（右）
最有意思的是 ， 我们的网络在学习拼装部件的过程中能够隐式地学习到各个部件之间的关系 ， 如图4所示 。 我们可以观察到 ， 奇数步的时候呈现出相同的模式（pattern） ， 偶数步的时候亦呈现出另一种相同的模式（关于模式的详细分析请参见论文） 。 总体而言 ， 较为中心的部件（central part）（如back, seat）相比于较为边缘的部件（peripheral part）（如 leg, arm）发出的关系权重更多 ， 而接收的关系权重更少 。 结合信息传递的过程 ， 我们可以分析得到 ， 中心部件更多地主导了部件拼装的过程 。
文章插图
图4. 动态图网络隐式学习到的各部件之间的关系 。 橙色表示4个最大的关系权重 ， 黄色表示最小的关系权重 。 纵列表示发出关系权重的部件 ， 横排表示接收关系权重的部件 。
为了进一步佐证这个结论 ， 图5进一步可视化了我们的迭代式图神经网络拼装部件的过程 。 可以发现 ， 我们的模型在没有任何外界直接监督的情况下隐式地学会了渐进式地（in a coarse-to-fine manner）拼装部件：在开始的几步先拼好中心部件（back和seat） ， 接着边缘部件（arm 和 leg）会根据中心部件的位姿来调整自己的位姿 ， 最终“由粗到细”地完成部件的拼装 。
文章插图
图5. 迭代式图神经网络拼装部件的过程
4总结本文提出了一种更贴近实际的（practical）的部件拼装问题 ， 并设计了一个基于动态图网络学习的可以生成多模态拼装的方法 。 我们的方法揭示了动态图网络学习在部件拼装任务中的优越性 ， 并为分析“机器是如何学习的”提供了思路 。 未来可能的研究方向包括考虑融合部件关节信息以及更高阶的部件之间的信息等来达到更好的部件拼装效果 。
参考文献
[1] Kaichun Mo, Shilin Zhu, Angel X Chang, Li Yi, Subarna Tripathi, Leonidas J Guibas, and Hao Su. Partnet: A large-scale benchmark for fine-grained and hierarchical part-level 3d object understanding. CVPR, 2019.
[2] Minhyuk Sung, Hao Su, Vladimir G Kim, Siddhartha Chaudhuri, and Leonidas Guibas. Complementme: weakly-supervised component suggestions for 3d modeling. ACM TOG, 36(6):1–12, 2017.
[3] Rundi Wu, Yixin Zhuang, Kai Xu, Hao Zhang, and Baoquan Chen. Pq-net: A generative part seq2seq network for 3d shapes. CVPR, 2020.
【三维部件魔法拼装！北大&斯坦福利用动态图网络学习生成】NeurIPS 2020论文接收列表已出 ， 欢迎大家投稿让更多的人了解你们的工作~
文章插图
推荐阅读
- iPhone 12/Pro部件订单明年上半年依旧保持强劲
- 视频怎么自己制作出魔法球效果？Vegas软件来帮你
- 万物皆可格！给空格键施加神奇魔法的神器软件—快速预览工具
- 打开，体验流畅的单目三维手势技术
- iOS 14小部件如何展示自己心爱的照片？我来教你这个办法
- PC电脑电源简介
- iPhone 12零部件占比曝光，韩国供应商就是中国的5倍
- 华为基站美系零部件占3成，日媒拆解公布，这对华为影响有多大？
- 3D打印产业“多点开花”汽车部件制造蓬勃繁盛
- 报道称，华为可能很快将生产和销售汽车零部件，甚至造车