江苏龙网

  1. 首页 > 人文 > >

娱乐家常菜|机器学习的训练成本难题，FB最大模型训练一轮电费就好几百万( 二 )


除了并行 ， 其他优化也很重要 。 Cerebras的创始人之一安德鲁·费尔德曼指出 ， AI模型花费了大量时间来进行乘零操作 。 而因为这些计算结果总时零 ， 所以其实很多都是不必要的 ， 所以Cerebras的芯片就尽量避免执行这些运算 。 同时 ， Graphcore的Toon先生说 ， 与许多任务不同 ， 现在AI并不需要超精确的计算 。 这也意味着芯片设计人员能通过减少运算所需的精度来节省能耗 。 （而计算精度到底能降到什么程度仍是个开放性问题 。 ）
之后所有这些因素都能综合起来获得更大提升 。 Toon就认为Graphcore当前的芯片效率是GPU的10到50倍 。
现在类似的创新变得越来越重要 ， 因为对算力需求激增正赶上摩尔定律逐渐失效的时候 。 现在缩小芯片变得越来越困难 ， 而且带来的收益也越来越小 。 去年 ， Nvidia的创始人黄仁勋直言不讳地说：“摩尔定律失效了” 。
量子解决方案和神经形态方案
因此 ， 现在研究人员还在寻找更多的解决方法 。 其中一种是量子计算 ， 利用量子力学的反直觉特性为某些类型的计算进行大幅提速 。 关于机器学习的一种思考角度是将它看作是一个优化问题 ， 而计算机试图在数百万个变量中进行权衡从而求出尽可能最小值 。 微软量子系统部门负责人KrystaSvore说 ， 一种称为格罗弗算法的量子计算技术具有巨大的提速潜力 。
另一种想法是从生物学中获得启发 ， 认为当前的蛮力方法并不是唯一的方法 。 当Cerebras的芯片运行起来 ， 功耗大约为15kw ， 足以为数十座房屋供电（相同数量GPU能耗更多） 。 而相比起来 ， 人脑消耗能量就只有大概20w ， 只有前者的千分之一 ， 而人脑在许多方面都比硅芯片更聪明 。 因此 ， 英特尔和IBM等公司正在研究“神经形态”芯片 ， 希望设计出更能模仿生物大脑神经元电行为的组件 。
但到目前为止 ， 这两条路都还很遥远 。 量子计算机在理论上相对容易理解些 ， 但尽管有谷歌 ， 微软和IBM等技术巨头投入数十亿美元 ， 实际搭建却仍是个巨大挑战 。 而神经形态芯片虽然是用现有技术构建的 ， 但让设计人员很气馁的是 ， 就连神经科学家都还不怎么了解大脑究竟在做什么以及怎么做到的 。
这意味着 ， 在可预见的未来 ， AI研究人员将不得不继续尽可能地压榨现有计算技术性能 。 而Toon先生对此还是很乐观的 ， 他认为通过更专业硬件以及调整现有软件让训练更快 ， 也还是能带来很大收益 。 为了说明这个新领域的发展 ， 他用电子游戏打了个比方：“现在我们已超越了乓（Pong） ， 可能到了吃豆人 。 ”
没有钱来进行训练的穷炼丹师们理所当然地希望他说的是对的 。
相关报道：
https://www.economist.com/technology-quarterly/2020/06/11/the-cost-of-training-machines-is-becoming-a-problem


推荐阅读


上一篇：PChome电脑之家|小米电视「大师」65寸OLED体验：正式攻入高端市场

下一篇：潮流数码玩家|意味着什么？，厂商们都对截屏功能“情有独钟”的背后