|YOLOv5的妙用：学习手语，帮助听力障碍群体
编辑：魔王、杜伟
计算机视觉可以学习美式手语 ， 进而帮助听力障碍群体吗？数据科学家 David Lee 用一个项目给出了答案 。
如果听不到了 ， 你会怎么办？如果只能用手语交流呢？
本文插图
当对方无法理解你时 ， 即使像订餐、讨论财务事项 ， 甚至和朋友家人对话这样简单的事情也可能令你气馁 。
对普通人而言轻轻松松的事情对于听障群体可能是很困难的 ， 他们甚至还会因此遭到歧视 。 在很多场景下 ， 他们无法获取合格的翻译服务 ， 从而导致失业、社会隔绝和公共卫生问题 。
为了让更多人听到听障群体的声音 ， 数据科学家 David Lee 尝试利用数据科学项目来解决这一问题：
计算机视觉可以学习美式手语 ， 进而帮助听力障碍群体吗？
如果通过机器学习应用可以精确地翻译美式手语 ， 即使从最基础的字母表开始 ， 我们也能向着为听力障碍群体提供更多的便利和教育资源前进一步 。
数据和项目介绍
出于多种原因 ， David Lee 决定创建一个原始图像数据集 。 首先 ， 基于移动设备或摄像头设置想要的环境 ， 需要的分辨率一般是 720p 或 1080p 。 现有的几个数据集分辨率较低 ， 而且很多不包括字母「J」和「Z」 ， 因为这两个字母需要一些动作才能完成 。
本文插图
为此 ， David Lee 在社交平台上发送了手语图像数据收集请求 ， 介绍了这个项目和如何提交手语图像的说明 ， 希望借此提高大家的认识并收集数据 。
项目地址：https://github.com/insigh1/GA_Data_Science_Capstone
数据变形和过采样
David Lee 为该项目收集了 720 张图片 ， 其中还有几张是他自己的手部图像 。 由于这个数据集规模较小 ， 于是 David 使用 labelImg 软件手动进行边界框标记 ， 设置变换函数的概率以基于同一张图像创建多个实例 ， 每个实例上的边界框有所不同 。
下图展示了数据增强示例：
本文插图
经过数据增强后 ， 该数据集的规模从 720 张图像扩展到 18,000 张图像 。
建模
David 选择使用 YOLOv5 进行建模 。 将数据集中 90% 的图像用作训练数据 ， 10% 的图像用作验证集 。 使用迁移学习和 YOLOv5m 预训练权重训练 300 个 epoch 。
本文插图
在验证集上成功创建具备标签和预测置信度的新边界框 。
本文插图
由于损失值并未出现增长 ， 表明模型未过拟合 ， 因此该模型或许可以训练更多轮次 。
模型最终获得了 85.27% 的 mAP@.5:.95 分数 。
图像推断测试
David 额外收集了他儿子的手部图像数据作为测试集 。 事实上 ， 还没有儿童手部图像用于训练该模型 。 理想情况下 ， 再多几张图像有助于展示模型的性能 ， 但这只是个开始 。
本文插图
26 个字母中 ， 有 4 个没有预测结果（分别是 G、H、J 和 Z） 。
四个没有得到准确预测：
D 被预测为 F；
E 被预测为 T；
P 被预测为 Q；
R 被预测为 U 。
视频推断测试
推荐阅读
- 标杆学习|走进青岛海尔、红领（酷特智能）总部商务考察学习
- 标杆学习|走进北京小米新总部参观考察-对标小米互联网思维与生态链创新
- 标杆学习|走进北京京东总部商务考察学习精彩集锦
- 职场办公学习|每次进货价格不一样，Excel批量计算利润
- 云计算|ModelArts平台加持，华为云在机器学习领域领先
- |强化学习：10种真实的奖励与惩罚应用
- 华为|Forrester发布机器学习报告，“点赞”华为云ModelArts平台
- 孩子|全方位陪伴孩子学习 大力智能家教灯T5 Pro体验
- 南方都市报|爱学习又完成近2亿美元融资，GIC领投，华平等原股东跟投
- 爱学习|互联网教育企业“爱学习教育集团”获近2亿美元D2轮融资