江苏龙网

  1. 首页 > 人文 > >

更大的模型并不总是更好的模型，微型机器学习将是未来的方向


在NASA的推动下,电子产品的小型化成为一个完整的消费品行业 。 现在我们可以把贝多芬的全部作品放在翻领针上用耳机听 。
-- 天体物理学家兼科学评论员尼尔·德格拉斯·泰森 （ Neil deGrasse Tyson）
超低功耗嵌入式设备的普遍存在 ， 再加上诸如针对微控制器的TensorFlow Lite的嵌入式机器学习框架的引入 ， 将使AI驱动的IoT设备大规模普及 。
【更大的模型并不总是更好的模型，微型机器学习将是未来的方向】 -- 哈佛大学副教授Vijay Janapa Reddi
更大的模型并不总是更好的模型，微型机器学习将是未来的方向
本文插图
嵌入式设备的微型机器学习（TinyML）
本文的目的是向读者介绍小型机器学习的概念及其未来潜力 。 在本系列的后续文章中 ， 将对特定的应用程序 ， 实现和教程进行深入讨论 。
介绍
在过去的十年中 ， 我们见证了由于处理器速度的提高和大数据的出现 ， 机器学习算法的规模呈指数增长 。 最初 ， 模型足够小 ， 可以使用中央处理器（CPU）中的一个或多个内核在本地计算机上运行 。
此后不久 ， 由于引入了基于云的服务（例如SaaS平台（例如Google Colaboratory）和IaaS（例如Amazon EC2实例）） ， 使用图形处理单元（GPU）的计算对于处理更大的数据集变得十分必要 ， 并且变得更加容易获得 。 此时 ， 算法仍可以在单台计算机上运行 。
最近 ， 我们已经看到了专用的专用集成电路（ASIC）张量处理单元（TPU）的开发 ， 该模块可以封装约8个GPU的功能 。 这些设备已经增强了在多个系统之间分布学习的能力 ， 以尝试发展越来越大的模型 。
最近 ， 随着GPT-3算法的发布（2020年5月发布）而达到了顶峰 ， 该算法的网络体系结构包含了惊人的1750亿个神经元 ， 是人脑中神经元数量的两倍（约850亿） 。 这是有史以来创建的第二大神经网络Turing-NLG（于2020年2月发布 ， 包含约175亿个参数）的神经元数量的10倍以上 。 一些估计称 ， 该模型的培训成本约为1000万美元 ， 并使用了约3 GWh的电力（大约三个小时的一小时核电站的输出） 。
尽管GPT-3和Turing-NLG的成就值得称赞 ， 但自然而然地 ， 这引起了业内一些人士对AI行业日益增长的碳足迹的批评 。 但是 ， 它也有助于激发AI界对更节能计算的兴趣 。 这样的想法 ， 例如更高效的算法 ， 数据表示和计算 ， 一直是看似无关的领域的关注重点：微型机器学习 。
微型机器学习（tinyML）是机器学习与嵌入式物联网（IoT）设备的交叉点 。 该领域是一门新兴的工程学科 ， 具有革新许多行业的潜力 。
tinyML的主要行业受益者是边缘计算和节能计算 。 TinyML源自物联网（IoT）的概念 。 物联网的传统思想是将数据从本地设备发送到云进行处理 。 一些人对此概念提出了某些担忧：隐私、延迟、存储和能源效率等等 。
能源效率 。 （通过有线或无线方式）传输数据非常耗能 ， 比机载计算（具体而言 ， 乘累加单位）要高大约一个数量级 。 开发可以执行自己的数据处理的物联网系统是最节能的方法 。 人工智能的先驱们已经讨论了''以数据为中心''的计算思想（与云模型的''以计算为中心''相对） ， 现在我们开始看到它正在发挥作用 。
隐私 。 传输数据可能会侵犯隐私 。 此类数据可能被恶意行为者拦截 ， 并且当存储在单个位置（例如云）中时 ， 其固有的安全性降低 。 通过将数据主要保留在设备上并最大程度地减少通信 ， 这可以提高安全性和隐私性 。
存储 。 对于许多物联网设备而言 ， 它们获取的数据毫无用处 。 想象一下一个安全摄像机每天24小时记录着建筑物的入口 。 在一天的大部分时间里 ， 相机镜头没有任何用处 ， 因为什么也没发生 。 通过拥有仅在必要时才激活的更智能的系统 ， 就需要较低的存储容量 ， 并减少了传输到云所需的数据量 。


推荐阅读


上一篇：微微世界|5种盆栽，就像“空气清新剂”，室内毒气吸光光，家居装点颜值高

下一篇：北京日报客户端|全国紧急状态延长至明年，意大利出台全国口罩强制令