更大的模型并不总是更好的模型,微型机器学习将是未来的方向( 五 )
Suyog Gupta及其同事在2015年发表的第一篇有关降低深度学习中的数值精度的论文是'''' 。 本文的结果很有趣 , 表明32位浮点表示形式可以减少为16位定点表示形式 , 而精度几乎没有降低 。 但是 , 这是使用的唯一情况 , 因为平均而言 , 它会产生无偏结果 。
在2018年 , Naigang Wang及其同事在其论文''使用8位浮点数''中使用8位浮点数训练了神经网络 。 由于需要在反向传播期间保持梯度计算的保真度(在使用自动微分时能够实现机器精度) , 因此使用8位数字而不是推理来训练神经网络要实现的挑战明显更大 。
计算效率如何?
还可以对模型进行定制 , 以使它们的计算效率更高 。 在移动设备(例如MobileNetV1和MobileNetV2)上广泛部署的模型体系结构就是很好的例子 。 这些本质上是卷积神经网络 , 已经重塑了卷积运算以使其具有更高的计算效率 。 这种更有效的卷积形式称为深度可分离卷积 。 还可以使用和来针对延迟优化 。
下一次AI革命
在资源受限的设备上运行机器学习模型的能力为许多新的可能性打开了大门 。 发展可能有助于使标准机器学习更加节能 , 这将有助于消除对数据科学对环境影响的担忧 。 此外 , tinyML允许嵌入式设备具有基于数据驱动算法的新智能 , 该智能可用于从预防性维护到检测森林中的鸟声的任何事物 。
尽管某些机器学习从业者无疑将继续扩大模型的规模 , 但一种新的趋势正在朝着内存 , 计算和能源效率更高的机器学习算法发展 。 TinyML仍处于起步阶段 , 有关该主题的专家很少 。 这个空间正在快速增长 , 并将在未来几年内成为人工智能在工业中的新的重要应用 。
推荐阅读
- 抛弃注意力,类Transformer新模型实现新SOTA
- 西安扑通美美与共!国美携手美的一起玩票大的!
- 特朗普|如果日本沉海,他们会迁居到哪里?其实他们早有准备,并不是中国
- 第一财经|深交所向英可瑞下发关注函 要求核查股价短期内涨幅较大的原因
- 大众报业·海报新闻|海报时评丨群众信任是乡村振兴最大的原动力
- 火炮旅游达人|从不讨论印度,并不了解我们的强大,印度教授:中国人太奇葩
- 娱乐中的趣闻|和8L相比呢?,热血传奇中最大的女土豪是谁
- 瞄准|16集过后,《瞄准》最大的BUG终于出现,编剧也救不了
- 公司|深交所向英可瑞下发关注函 要求核查股价短期内涨幅较大的原因
- 3C论坛|从水滴屏到屏下镜头,一路走来并不容易,手机屏幕的更替