AI人工智能|惨遭下架后，MIT再爆知名数据集ImageNet存在系统性Bug，祸端还是WordNet
近日 ， 麻省理工学院研究团队发表了一篇论文指控知名数据集ImageNet存在系统性Bug ， 该论文被国际机器学习大会ICML2020接收 。
同时 ， 这篇论文名为《From ImageNet to Image Classification: Contextualizing Progress on Benchmarks》 ， 也发表在了在预印论库arXiv上 。
文章图片
文章图片
麻省理工研究团队之所以在ICML大会上介绍这项研究 ， 是因为近期陷入的“Tiny Images”争议事件 。
就在本月初 ， 麻省理工学院（MIT）宣布永久删除了包含8000万张图像的Tiny Images数据集 ， 并公开表示歉意 。其原因是 ， 有关研究人员发表了一篇论文指控Tiny ImageNet数据集存在多项危险标签 ， 包括种族歧视、性别歧视、色情内容等 ， 而且指控有理有据 。
论文中表明 ， ImageNet在语义结构分析上 ， 使用的WordNet名词 ， 它包含了种族歧视等危险内容 ， 同时 ， 由于图像过小 ， 数据量过大 ， 并未手动对图像标签进行逐一核对 ， 由此导致了问题的出现 。
众所周知 ， 知名数据集ImageNet也使用了WordNet用于语义结构分析 ， 那么 ， ImageNet数据集是否也存在同样的问题？对此 ， 麻省理工研究团队给出了答案 。
ImageNet基准测试与实际不符
大规模ImageNet数据集的出现 ， 可以说意味着机器学习深度变革的一个新起点 。2009年 ， 李飞飞领衔的研究团队在计算机视觉与识别模式大会（CVPR）上首次推出ImageNet ， ImageNet数据集包含10000个分类 ， 超过一百万个图像 ， 数据量之大是此从未有过的 。
正是因数据量大、质量高 ， ImageNet数据集被广泛用于预训练和基准测试 。但是 ， 麻省理工研究团队在最近的研究中却指出：
ImageNet存在明显的“系统标注问题” ， 导致其用作基准数据集时与实际情况并不一致 。
他们发现 ， ImageNet数据集中大约有20%的图像包含两个或更多的对象目标 。
文章图片
文章图片
在通过对多个目标识别模型进行分析后 ， 数据表明包含多个对象目标的照片会导致总体基准的准确性下降10% 。
文章图片
文章图片
简单举个栗子：假如此图是ImageNet数据集中的一张高清图像 ， 我们可以看到图片中不止包含了一个对象目标 ， 包含女孩、吉他和唱麦 ， 而且图片的主目标应该是女孩 。
文章图片
文章图片
但ImageNet的数据标签可能不是女孩 ， 也可能是唱麦或者吉他 ， 重要的是ImageNet只会标注一个标签 ， 这样可能就会导致ImageNet在目标识别中出现失误 。
研究人员在论文中表明 ，
“总体而言 ， 单个ImageNet标签可能不能总是捕获到ImageNet图像的主要表物体目标 。但是 ， 当我们进行培训和评估时 ， 却将标签视为图像的根本事实 ， 因此 ， 这可能会导致ImageNet基准测试与现实世界中的对象识别任务之间出现不一致 ， 而且这在模型执行和评估性能方面都是如此 。”
看到这里你可能会疑惑 ， 为什么不能准确对图像进行标记？其实问题的关键在于ImageNet所使用的标记工具WorldNet 。
WordNet名词标记是关键
WordNet在1980年代由George Armitage Miller创立 ， 被广泛用于数据集的收集和标记过程 。简单的理解 ， ImageNet会根据WorldNet提供的名词和它的语义层次结构 ， 在搜索引擎或者Flickr之类的网站进行图像搜索 ， 作为数据集的初始来源 。
推荐阅读
- 青年|汕头华侨试验区探索以人工智能、5G赋能产业转型升级
- 行业互联网,AI人工智能|城市教育大脑以“ AI+ 大数据”为核心 , 引领教育变革
- 行业互联网|眼控科技聚焦航空气象报文，人工智能助推编发自动化
- 人工智能|哈工智能布局“AI+ROBOT”生态圈
- 人工智能|马斯克宣布，脑机接口公司将在下月重磅更新，赛博格将成为现实？
- 人工智能|敏捷开发框架的开发运用之智能办公管理系统的开发
- 人工智能|人工智能上车就是聊天唱歌？TA还能给你有温度有情感的陪伴
- 行业互联网,云计算|赛伯乐携手华为（重庆）人工智能创新中心聚焦AI前沿，助力企业数字化转型
- 华为手机,AI人工智能|今天才知道，华为手机右上角还能这样使用，几千块钱果真没白花
- AI人工智能|OpenAI新模型曝光：给它半张图片，能够猜测补全