新智元华人博士提出原型对比学习，非监督学习效果远超MoCo和SimCLR( 二 )
在高层次上 ， PCL 的目标是找到给定观测图像的最大似然估计(MLE)模型参数：
本文插图
我们引入原型 c 作为与观测数据相关的潜在变量 ， 提出了一种期望最大化算法来求解最大似然估计 。 在 E-step 中 ， 我们通过执行 K 平均算法估计原型的概率 。 在 m 步中 ， 我们通过训练模型来最大化似然估计 ， 从而最小化一个 ProtoNCE 损失:
本文插图
在期望最大化框架下 ， 我们可以证明以前的对比学习方法是 PCL 的一个特例 。
通常情况下我们是通过将预先训练的模型转移到下游任务来评估非监督学习的效果 ， 类似于 ImageNet 预先训练的模型已经广泛应用于许多计算机视觉任务 。 一个好的预训练模型应该在有限的训练数据和有限微调的新任务上产生良好的表现 。
PCL 的表现如何？
我们在三个任务上对 PCL 进行评估 ， 在所有情况下 ， 它都达到了最先进的性能 。
1、少样本迁移学习
首先 ， 将未标记的 ImageNet 数据集上训练 ResNet 模型的任务转化为两个: VOC07 数据集上的目标识别和 Places205 数据集上的场景分类 。 对于每个任务 ， 我们只得到很少(k)标记的样本 。 我们使用无监督学习训练一个线性支持向量机 。 如下表所示 ， PCL 在 VOC 上 取得 10% 左右的性能改善 。
本文插图
2、半监督学习
接下来 ， 我们评估 PCL 在半监督图像分类中的作用 。 在这个任务中 ， 我们在未标记的 ImageNet 图像预先训练 ResNet 模型 ， 并使用 1% 或 10% 带有标签的 ImageNet 图像微调分类模型 。 PCL 同样优于其他方法 ， 将 Top-5 准确率提高了 18%。
本文插图
3、目标检测
我们进一步评估了目标检测学习表征的泛化能力 。 我们在 VOC07 或 VOC07 + 12 上训练了一个更快的 R-CNN 模型 ， 并在 VOC07 的测试集上进行了评估 。 如下所示 ， PCL 实质上缩小了自监督方法和监督方法之间的差距 ， 他们之间只有 1% 的差异 。
本文插图
学到的表征是什么样子的？
为了更好地理解 PCL 学习到的表征 ， 我们绘制了来自 ImageNet 前 40 类图像的 t-SNE 可视化图像 。 我们可以看到 ， PCL 学习的表示方法可以将来自同一类的图像聚在一起 。
本文插图
结果已经证明 PCL 有巨大的潜力 ， 在深层神经网络中使用纯粹的非标记图像就可以训练 。
我们希望 PCL 可以扩展到视频 ， 文本 ， 语音等领域 ， 让 PCL 激励更多有前途的非监督式学习领域的研究 ， 推动未来人工智能的发展 ， 使人工标注不再是模型训练的必要组成部分 。
作者简介：Junnan Li ， Salesforce亚洲研究院科学家 ， 香港大学电子工程学学士 ， 新加坡国立大学计算机博士 ， 主要研究方向计算机视觉和深度学习、非监督式学习 ， 弱监督学习 ， 迁移学习和社交场景理解 。
本文插图
参考链接：
https://blog.einstein.ai/prototypical-contrastive-learning-pushing-the-frontiers-of-unsupervised-learning/
【新智元华人博士提出原型对比学习，非监督学习效果远超MoCo和SimCLR】
推荐阅读
- 新智元|B站上线！DeepMind加UCL强强联手推出深度学习与强化学习进阶课程（附视频）
- 韩博士装机大师|玩游戏卡顿？只要简单2步，开启电脑最大性能，速度提升10倍！
- 新智元|人工智能领域很多引人注目的进展并不真实
- 新智元|机器学习团队常用工具总结，人生苦短，我用Python！
- 新智元|Science | 人工智能领域很多引人注目的进展并不真实
- 粤看粤精彩|中国通信工业协会IPFS专委会邀请曲博士莅临会员单位中云科技开展调研工作
- |微软前副总裁沈向洋加盟美国版“今日头条”，创始团队为华人
- 南康|甘博士：南康家具产业一定要坚持走“智能化”路线
- #牌照#喵博士资讯 | 中国广电河北雄安分公司开通首个5G基站；2020年第17批CDN牌照下发
- 喵博士资讯 | 全球已有80家运营商推出5G商用服务；第16批CDN牌照名单出炉