江苏龙网

  1. 首页 > 资讯 > 科技 > >

DeepTech深科技|一种新方法或让AI模型拥有“联想”力，或能识别从未见过的事物( 二 )


这些图像不是直接从原始数据集中选取的 ， 而是经由一系列的设计和优化后 ， 赋予了这 10 张图像几乎与整个原始数据集相同的信息 。
因此 ， 仅仅用这个超精简数据集对人工智能模型进行训练 ， 就可以达到与用 MNIST 所有图像进行训练的模型几乎一致的识别精度 。
DeepTech深科技|一种新方法或让AI模型拥有“联想”力，或能识别从未见过的事物
本文插图

图 | MNIST 数据集样例
DeepTech深科技|一种新方法或让AI模型拥有“联想”力，或能识别从未见过的事物
本文插图
图 | “蒸馏” 后的 MNIST 精简数据集 。 以上 10 张图是从 MNIST 所含 6 万张图像中提纯出的 ， 可以用于训练人工智能模型 ， 并且它们在识别手写数字时拥有 94% 的准确性 。
伊利亚和导师从中受到启发 ， 并且认为可以在 Tongzhou Wang 的方法上更进一步 —— 既然可以将 6 万张图像压缩到 10 张 ， 那么为什么不能将它们压缩到 5 张或更少呢？一旦实现 ， 就意味着 ， 通过区区几张图象的训练 ， 人工智能模型就能掌握从 0 到 9 这 10 个数字的各种手写数字图片 ， 从而实现前面所说的 N 大于 M 。
伊利亚很快发现 ， 想要达到这个效果的诀窍就是创建混合有多个数字特征的图像 ， 然后为它们打上 “软标签（让一个数据点同时成为多个类别成员的矢量表示）” ， 再来用这些样本训练人工智能模型（类似于前文的马 + 犀牛混合体） 。
“你可以想象一下数字 3 ， 它看起来有点像 8 ， 但一点都不像 7 。 ” 伊利亚说 。
DeepTech深科技|一种新方法或让AI模型拥有“联想”力，或能识别从未见过的事物
本文插图

“软标签的目的在于标注这些共同的特征 ， 进而以这种方式增加信息密度和维度 。 因此 ， 相比于直接告诉模型这个图像是 3 ， 我们会说 ， 这个图像有 60% 可能是 3 ， 30% 可能是 8 ， 10% 可能是 0 。 ” 使用这种数据训练出的模型 ， 基本可以达到与常规训练方式一样的精度 。
“少于一个” 样本学习的局限性 当伊利亚和导师成功地使用软标签在 MNIST 上实现 “少于一个” 样本学习后 ， 他们开始思考这个方法能否用于更广阔的领域 。 人工智能模型从小样本中可以识别出的类别数量是否存在上限？
答案是否定的 。
从理论上来看 ， 使用精心设计的软标签 ， 甚至只用两个示例就可以承载任意数量的类别信息 。 伊利亚说：“通过两个数据点 ， 你就可以分离出一千个 ， 一万个 ， 甚至是一百万个类别 。 ”
伊利亚和导师通过纯数学方式的推导 ， 在论文中证明了这一点 。 他们使用一种最简单的机器学习算法 ——K-近邻算法（kNN）来表述这一概念 ， 该算法使用图形方法来为对象分类 。 值得注意的是 ， 他们在 kNN 算法的基础上进行了开发 ， 并将最终的算法称为 SLaPkNN（soft-label prototype kNearest Neighbors） 。
在进一步说明之前 ， 有必要以水果分类任务为例 ， 简单说明 kNN 算法的核心逻辑 。
假设我们要训练 kNN 模型识别苹果和橙子 ， 你必须先确定每个水果的特征 ， 这里以颜色（X 轴）、重量（Y 轴）为例 。 这样你就可以将多个苹果和橙子的信息输入 kNN 模型 。
kNN 算法会将所有数据点绘制在一张二维图表上 ， 并在苹果和橙子分布点的中间地带绘制边界线 。
DeepTech深科技|一种新方法或让AI模型拥有“联想”力，或能识别从未见过的事物
本文插图

图 | kNN 算法原理 。 由图可见 ， 坐标轴上分布着红苹果、青苹果和橙子的数据点 。 当模型需要判定黑色点属于哪种水果时 ， 它会依据蓝色框选区域内的色彩分布 ， 将比例最大的橙色判断为 “邻近” ， 进而将黑色点归类为橙子 。
为了将 kNN 算法应用于 “少于一个” 样本学习 ， 伊利亚和导师创建了一系列微型的合成数据集 ， 并精心设计了它们的软标签 。


推荐阅读


上一篇：中关村在线|三星Galaxy Z Fold3 大爆料——新品或加入S Pen

下一篇：|首家云米全屋互联网家电体验店落成 湖南家居生活进入智慧互联时代