打开快手，体验流畅的单目三维手势技术( 二 )

本文插图
图 2：生成人手（左图）与真实人手（右图）的视觉差异

本文插图
图 3：生成数据与真实数据的标注差异
针对生成数据与真实数据存在的领域差异问题，早期研究人员利用数据集的先验知识，使生成数据与真实数据具有相似的预测结果。比如 Yujun Cai 等人 [3] 在三维人手姿态检测任务中约束生成数据与真实数据预测结果的相对深度范围。但是这种基于先验知识的约束只能限制生成数据与真实数据的输出满足预先设定的条件，并不能让网络自动挖掘两种数据集的共有特征，因此，一些学者开始研究显式的共有特征学习方法。
领域迁移 [4,5] 是学习不同数据集间共有特征的常用方法。这类方法通过拉近真实数据与生成数据的特征来提取二者的共有信息，并且在图像分割 [6]、姿态检测 [7]、图像分类 [8] 等领域得到广泛应用。虽然拉近二者特征能够提升生成数据的泛化能力，但是由于领域差异的存在，不加区分地拉近生成数据与真实数据的特征，会增加优化的难度，导致无法收敛或者无法得到满意的性能。因此，有必要对神经网络的特征进行区分，在拉近二者特征的同时，保留领域独有的特征，消除领域差异带来的影响。
基于这个思路，研究人员设计了自适应的特征对齐方法，让神经网络在训练过程中自适应地学习领域共有与领域独有特征，自动挖掘共有信息，同时降低生成数据与真实数据差异带来的优化困难问题。

本文插图
图 4：自适应的特征对齐方法示意图
如图 4 所示，本研究在常见判别网络基础上引入了特征相似度评价指标，利用该指标实现共有特征和独有特征的自适应学习。由于每个通道的特征是由同一个卷积核计算得到，因此假定深度网络的特征每个通道代表一种含义。该特征相似度评价公式如公式（1）所示：

本文插图
其中，代表的是第 i 个通道的特征。
得到生成数据与真实数据特征逐通道的相似度后，将该相似度与原有特征相乘得到加权后的特征。通过判别器网络最小化新特征间的推土机距离，使生成数据和真实数据的共有特征尽可能相似。该过程的损失函数如公式（2）所示：

本文插图
经过优化，权重大的特征在拉近后应该会更加接近，权重小的特征则会保持原有距离。使用 t-SNE [9] 对特征进行可视化，结果如图 5 所示，其中红色代表生成数据的特征，蓝色代表真实数据的特征。

本文插图
图 5：直接联合训练、直接特征拉近训练和自适应特征对齐训练
图 6 展示了该方法在 STB [10] 数据集上的可视化结果。虽然没有使用真实数据集的深度标注，但是仍然能够取得较为正确的预测结果。

本文插图
图 6：弱监督情形人手三维姿态检测结果
基于显式教师网络的人手物理约束方法
在训练数据不充足的情况下，网络很容易输出不合理的手型，如图 7 所示：

打开快手，体验流畅的单目三维手势技术( 二 )

推荐阅读

穿搭|迪丽热巴越来越美腻，白T恤配白色一步裙，镶嵌金色流苏太出彩

想给女朋友一个惊喜呢，教会你如何浪漫浪漫的惊喜

五行属土的字适合男孩子五行属土的字适合男孩

鸭跖草的功效鸭跖草的功效

老华爱八卦|杨颖有灵气，热巴有气场，白冰引发争议！，明星穿礼服vs模特穿

央视网|央妈再出手！删光Z姓女星所有相关内容，此前隐晦点名斥其文盲

北京日报|织密东南郊生态水网北运河周边多条枯河清水复流

朋友结婚一定要参加婚礼么

做完腹腔镜手术后遗症

有一种过年,叫在南极冰盖上“狂奔”

「华为」欺软怕硬？美国制裁华为不成功转欺负阿里巴巴，遭马云重磅回击

汽车保养说娱乐|欧阳娜娜被质疑整容，欧阳妮妮亲自上场辟谣，不愧是亲姐妹啊

你喜欢的人在北京你却在小城市你该咋办

「财富领航者TB」普利特——高送转叠加冲击23.73元

人民日报海外版|山姆大叔“制裁大棒”六亲不认

[臭屁]当人体的2个部位出现臭味，要注意肠胃疾病，有一个也要引起重视

抗战|广电总局：三类抗战题材电视剧不得播出

个股|58只个股涨停 10股封单超亿元

意甲@人物：“天才”也需要时间成长，20岁的德里赫特会成为尤文的未来

五帝钱|五帝钱的真正寓意及收藏价值