江苏龙网

  1. 首页 > 资讯 > 科技 > >

新智元|MIT警告深度学习正逼近算力极限，突破瓶颈会让人类成为上帝？


新智元|MIT警告深度学习正逼近算力极限，突破瓶颈会让人类成为上帝？
本文插图

新智元报道
编辑：白峰、鹏飞
【新智元导读】MIT等研究发现 ， 深度学习的进展「非常依赖」算力的增长 ， 而现有算力天花板即将被触及 ， 急需革命性的算法才能让AI更有效地学习 。 如果算力能够突破极限 ， 人类将会成为「计算中的上帝」吗？
摩尔定律提出的时候 ， 人们从来没有想到过芯片的算力会有到达极限的一天 ， 至少从来没有想到芯片算力极限会这么快到来 。
MIT发出警告：算力将探底 ， 算法需改革
近日 ， MIT发出警告：深度学习正在接近现有芯片的算力极限 ， 如果不变革算法 ， 深度学习恐难再进步 。
根据麻省理工学院研究人员的一项研究 ， 深度学习的进展「非常依赖」算力的增长 。 他们断言 ， 必须发明革命性的算法才能更有效地使用深度学习方法 。
研究人员分析了预印本服务器Arxiv.org上的1058篇论文和其他基准资料 ， 以理解深度学习性能和算力之间的联系 ， 主要分析了图像分类、目标检测、问题回答、命名实体识别和机器翻译等领域两方面的计算需求:
1、给定深度学习模型中单次遍历(即权值调整)所需的浮点运算数 。
2、训练整个模型的硬件负担 ， 用处理器数量乘以计算速度和时间来估算 。
新智元|MIT警告深度学习正逼近算力极限，突破瓶颈会让人类成为上帝？
本文插图

研究结果表明 ， 除从英语到德语的机器翻译（使用的计算能力几乎没有变化）外 ， 所有基准均具有「统计学上显著」的斜率和「强大的解释能力」 。
命名实体识别和机器翻译对于硬件的需求大幅增加 ， 而结果的改善却相对较小 。 更有甚者 ， 算力增长为ImageNet上的图像分类模型贡献了43%的准确率 。
新智元|MIT警告深度学习正逼近算力极限，突破瓶颈会让人类成为上帝？
本文插图

根据多项式和指数模型的预测 ， 通过深度学习获得相应性能基准所需的算力（以Gflops为单位） ， 碳排放量和经济成本 ， 最乐观的估计 ， ImageNet分类误差要想达到1% ， 需要10^28 Gflops的算力 ， 这对硬件来说是不小的压力 。
网友评论：算力提升不一定要堆更多晶体管
这篇论文发表后 ， 在reddit上引发了网友热议 。 算力还可能再提高吗 ， 能不能搞出更贴合人脑的计算芯片？
新智元|MIT警告深度学习正逼近算力极限，突破瓶颈会让人类成为上帝？
本文插图

网友@respecttox认为 ， 现在的硬件算力提升有些误区 ， 不一定非得在晶体管上堆更多的晶体管 ， 我们需要更好的框架来支持底层条件计算以及相应的硬件改进 。 理想情况下 ， 用消费级的GPU就能跑很多深度模型 。
这样的GPU值得期待 ， 动辄上万的N卡 ， 对很多学生党来说的确是不小的障碍 。
新智元|MIT警告深度学习正逼近算力极限，突破瓶颈会让人类成为上帝？
本文插图

那人类大脑是一台超级计算机吗？这个问题此前有过很多讨论 ， 网友@Red-Portal认为就功耗而言 ， 大脑并不是超级计算机 。 在这方面 ， 简单地认为更多的计算能力将为我们提供人类智能的想法就产生了误导 ， 因为它并不是真正的「人工智能」 。
就大脑中神经元的数量来说绝对可以称的上「超级」 ， 至于它的能耗为啥这么低 ， 低到跟现实中的计算机相比几乎可以忽略不计 ， 谁又能拿出证据说 ， 大脑不可能有一个更高效的计算机制？
新智元|MIT警告深度学习正逼近算力极限，突破瓶颈会让人类成为上帝？
本文插图
神经科学家也参与进来了 。 他认为人脑和神经网络最大的两个差异可能是A：大脑区域之间和内部的反馈令人难以置信 ， B：神经元比人工神经网络中的节点有更多的非线性 。 非线性才是导致人脑如此优于「人工智能」的根本原因 。


推荐阅读


上一篇：新机发布|联想拯救者电竞手机 Pro首发双X轴线性马达

下一篇：第一财经|重磅！蚂蚁金服官宣上市，马云持股8.8％