科技E观察:搭建学术研究与工业落地的桥梁,阿里巴巴开源大型3D家具数据集( 二 )


竞赛内容包括三个项目 , 分别是基于图片的3D模型推荐 , 基于单张图的3D模型重建 , 实例分割 。 信息如下:
科技E观察:搭建学术研究与工业落地的桥梁,阿里巴巴开源大型3D家具数据集
文章图片
基于图片的3D模型推荐:在该项挑战赛中 , 参赛者被要求根据2D图片在给定3D池中检索出对应的3D模型 。 随着极速增长的3D模型数量 , 建立一个可靠的IBSR(image-based3Dshaperetrieval)系统不管在工业界还是在学术界都非常重要 。 比如用户3D场景布局重建的基础就是根据2D图中物体 , 从大型3D池中找出对应的3D模型 。 该项竞赛最大的挑战是针对2D与3D是完全不同域以及表征信息的差距 , 提取具有域不变性且纹理抑制的的特征表示 。 我们希望参赛者能充分探索最先进的解决方案 , 并基于此设计出更加精准可靠的IBSR算法 。 另外 , 我们也期望通过这项比赛来促进具有鲁棒性的形状检索发展 , 即在图片中物体存在轻微遮挡以及具有复杂背景的情况下实现较高精度的检索 。 我们将用TopK召回率以及TopK平均F-score作为主要性能衡量指标 。
基于单张图的3D模型重建:在该项挑战赛中 , 参赛者被要求从单张RGB图像重建对应的3D模型 , 这些图片主物体可能存在轻微遮挡以及少部分残缺 。 众所周知 , 3D模型的数量与质量是数据驱动的3D理解研究以及3D相关人工智能应用的基础 , 比如虚拟场景搭建 。 然而 , 目前海量的网络图片中的物体都没有或很难收集到对应的3DCAD模型 。 另一方面 , 目前工业界高质量3D模型生产效率很低 , 无法支持大规模高效生产 。 这项奖赛旨在总结目前最先进的单目图像3D重建方案 , 并启发工业级mesh表面细节重建的研究探索思路 。 ChamferDistance(CD)以及F-score将作为重建结果质量的评价标准 。
实例分割:在该项挑战赛中 , 参赛者被要求对渲染的室内场景图进行实例分割 。 在训练集中 , 3D-FUTURE将提供场景图中部分物体所对应的带有纹理的3D模型作为辅助信息 , 期望能提升边缘分割精度 。 实例分割是学界的基础研究问题 , 也是室内场景理解的关键之一 。 高精度尤其是边缘鲁棒的实例分割不仅有利于启发高质量图像合成相关工业应用 , 例如有潜力部分取代昂贵低效的渲染过程 , 从而实现高效自动化用户室内搭配编辑生成;也有潜力大幅提升IBSR , 3D重建等基础3D问题的效果 。 该项挑战赛的评估指标为被广泛认可的MaskAveragePrecision(mAP) 。
附workshop及竞赛重要信息
重要日程节点:
3月30日竞赛开启报名 , 并开放部分示例数据集 。
4月03日开放完整训练集与验证集 。
5月31日开放相关测试集 。
6月05日竞赛结束 。
6月12日潜在优胜者报告提交截止日期 。
6月17日报告审核以及竞赛最终结果公开 。
7月13日3D-FUTUREWorkshopatIJCAI-PRICAI2020 。
优胜者奖励:
第一名1500美金 , 第二名1000美金 , 第三名500美金 。 受邀请到国际人工智能顶会IJCAI-PRICAI2020Workshop进行报告 。 受邀合著Workshop报告 。 【科技E观察:搭建学术研究与工业落地的桥梁,阿里巴巴开源大型3D家具数据集】需要本次竞赛和数据集详情 , 请登陆「天池」官网了解 。


推荐阅读