江苏龙网

  1. 首页 > 资讯 > 科技 > >

即使在移动AI时代，软件仍将主导业界


机器之心专栏
作者：王言治
软硬件都是促进 AI 行业发展的必不可少因素 ， 二者究竟孰轻孰重 ， 各家的看法亦有不同 。 在本文中 ， 作者首先探讨了 AI 硬件的发展格局 ， 并提出疑问：专用硬件加速是否为正确的发展道路？进而介绍了压缩编译协同设计软件算法方案的细节 ， 并坚信可以改变 AI 边缘计算的格局 。 本文介绍的压缩 - 编译协同优化系统（CoCoPIE）由美国东北大学王言治研究组 ， 威廉玛丽学院任彬研究组 ， 北卡州立大学慎熙鹏教授研究组共同提出 。
人们已经达成了某种共识：那些在边缘设备（edge device）与物联网设备（IoT device）上实现了真正的智能的公司将定义计算的未来 。 为了实现这一目标 ， 无论是谷歌 ， 微软 ， 亚马逊 ， 苹果和 Facebook 等大型技术公司 ， 还是初创公司 ， 每年在研发上的投入都高达数百亿美元 。 工业界主要致力于开发用于机器学习和推理的专用硬件加速器 ， 这么做的原因是他们认为硬件因素是实现真正的移动智能的主要限制因素 。 为此 ， 工业界已经花费了数十亿美元来推动这种智能硬件竞赛 。
我们对这种做法有所疑问 ， 并坚信即使在移动 AI 时代 ， 软件仍将主导业界 。 我们的中心论点是 ， 深度学习应用程序的软件优化潜力仍未得到充分开发 。 一旦完成了正确的软件优化 ， 我们就可以立即在数十亿个现有移动设备上启用实时深度学习 ， 从而释放一个万亿美元的市场 。
在本文的其余部分 ， 我们回顾了 AI 硬件的概况 ， 不同的软件优化方法 ， 并深入研究了我们认为最有希望的方法 ， 即“压缩 - 编译”（compression-compilation）联合设计方法 。 我们得出的结论是 ， 即使在移动 AI 时代 ， 软件仍在占有并将持续占有整个业界 ， 并且通过纯软件压缩编译协同设计在数十亿个现有移动设备和数万亿个新兴的物联网设备上启用实时 AI 应用程序是最切实可行的方法 。
AI 硬件的格局
工业界主要致力于开发用于机器学习和推理的专用硬件加速器 ， 这么做的原因是他们认为硬件因素是实现真正的移动智能的主要限制因素 。
芯片制造商英特尔与包括 NVIDIA ， AMD 在内的竞争对手以及一些采用 ARM 技术的竞争对手之间的激烈竞争已经使芯片进入 AI 计算市场 。 如今 ， 在美国 ， 欧洲和亚洲 ， 有 100 多家 AI 芯片初创公司 ， 从重塑可编程逻辑和多核设计（programmable logic and multi-core designs）的公司 ， 到开发自己的全新架构的公司 ， 再到使用神经形态架构（neuromorphic architectures）等未来技术的公司 。 数百亿美元的风险资金已经投入到这个市场中 ， 以支持这些创业公司 ， 同时也加剧了主要芯片制造商之间的竞争 ， 我们看到英特尔以极高昂的价格收购了 MobilEye ， Movidius 和 Altera ， Xilinx 收购了 DeePhi ， 谷歌开发了 TPU ， 以及 NVIDIA 在自动驾驶处理器方面的大量投资 。 尽管有大量投入 ， 但到目前为止 ， 输出还是令人失望的 ， 因为我们尚未看到边缘 AI 加速器的任何大规模部署 。 这不禁使我们思考 ， 专用硬件加速是正确的道路 ， 还是软件仍然主导移动 AI 时代？
经过仔细研究 ， 我们主张通过有效的压缩 - 编译（compression-compilation）协同设计 ， 在不使用特殊硬件加速器的情况下 ， 在现有边缘设备上实现实时人工智能（AI）是可行的 。 压缩编译协同设计的原理是以手拉手的方式对深度学习模型进行压缩及对压缩后的模型可执行文件的编译 。 这种协同方法可以有效地优化深度学习模型的大小和速度 ， 还可以大大缩短压缩过程的调整时间 ， 从而极大地缩短了 AI 产品上市的时间 。
当我们将深度学习模型部署在主流边缘设备上运行时 ， 我们的设计能在大多数 AI 应用上实现实时性 ， 而这些 AI 应用原本被广泛的认为只有使用特殊的 AI 加速器才能到达实时运行的效果 。 得益于主流处理器相对于特殊硬件的多重优势 ， 对于实时 AI 的特殊硬件需求可能将会逐渐降低：


推荐阅读


上一篇：「」三星终于爆发，三星Note20首发屏下技术＋120Hz屏，价格感人

下一篇：「石墨烯」如果用直径1纳米的细丝快速切割人体，会有什么后果？