江苏龙网

  1. 首页 > 资讯 > 科技 > >

算法OpenAI最新论文：机器学习效率正在超越摩尔定律

算法OpenAI最新论文：机器学习效率正在超越摩尔定律
图片

大数据文摘授权转载自学术头条
八年前 ， 一种机器学习算法学会了识别一只猫 ， 它震惊了全世界 。
几年后 ， 人工智能可以准确地翻译语言 ， 打败世界围棋冠军 。
现在 ， 机器学习已经开始在诸如 “星际争霸” 和 “dota2” 等复杂的多人视频游戏 ， 以及诸如扑克之类的微妙游戏中脱颖而出 ， 人工智能正在快速发展 。
算法OpenAI最新论文：机器学习效率正在超越摩尔定律
图片

但是速度有多快呢 ， 是什么在驱动着速度呢？虽然更好的计算机芯片是关键 ， 但 AI 研究机构 OpenAI 认为 ， 我们也应该衡量实际机器学习算法的改进速度 。
由 OpenAI 的 Danny Hernandez 和 Tom Brown 撰写并发表在 arXiv 上的论文指出 ， 研究人员称他们已经开始跟踪衡量机器学习的效率 ， 即用更少的资源做更多的事 。 他们使用这种方法表明 ， 人工智能已经以一种极快的速度变得更加高效 。
算法效率提升加快研究
一般说来 ， 驱动 AI 进步的有三个因素：运算量、数据和算法创新 。 计算能力更容易跟踪 ， 但算法方面的改进却有点难以捉摸 。
我们可以将算法效率定义为减少训练特定功能所需的计算量 ， 它是衡量计算机科学中算法进度的主要指标 。 传统问题（如排序）的效率提升比机器学习更易于衡量 ， 因为它们可以更清晰地衡量任务难度 。 但是 ， 可以通过保持性能恒定来将效率透镜应用于机器学习 。
自 2012 年以来 ， 在 ImageNet 分类中训练神经网络达到相同性能所需的计算量 ， 每 16 个月减少了 2 倍 。 与 2012 年相比 ， 现在将神经网络训练到 AlexNet（一种基准图像识别算法）所需的计算量减少了 44 倍 。 研究结果表明 ， 对于最近投入大量资金的 AI 任务 ， 算法进步比传统硬件效率产生了更多收益 。
算法OpenAI最新论文：机器学习效率正在超越摩尔定律
图片

用于训练到 AlexNet 级别的总计算量（以太字节 /天为单位） ， 在任何给定时间的最低计算点都以蓝色显示 ， 所有测量点都以灰色显示 。
尤其在翻译和游戏等其他流行功能 ， 在较短时间范围内改进的速度更快 。 在翻译方面 ， 三年后的英法翻译中 ， Transformer 算法的计算能力比 seq2seq 算法低 61 倍；仅仅一年后 ， DeepMind 的 AlphaZero 在围棋比赛中 ， 其计算量比 AlphaGoZero 少 8 倍 ， 就能与 AlphaGoZero 匹敌；而仅三个月后 ， OpenaAI Five Rerun 在 Dota2 上使用了比原来低五倍的计算能力 ， 就能超越了世界冠军 OpenaAI Five 。
算法OpenAI最新论文：机器学习效率正在超越摩尔定律
图片

算法效率的提高 ， 使得研究人员可以在给定的时间和金钱下进行更多感兴趣的实验 ， 加速未来 AI 的研究 。
机器学习的摩尔定律
机器学习中是否存在某种算法摩尔定律？
研究人员表示 ， 目前还没有足够的信息来说明这一点 。 他们的工作只包括了几个数据点 ， 原始的摩尔定律图表同样几乎没有被观察到 ， 所以任何推断纯属推测 。 此外 ， 研究仅关注少数几个流行的功能和顶级程序 。 目前尚不清楚观察到的趋势是否可以更广泛地推广到其他 AI 任务 。
对于语言、游戏等领域 ， 大规模的计算对于整体性能仍然很重要 ， 因此追踪效率显得尤为重要 ， 测量效率整体性能的长期趋势将有助于描绘总体算法进展的定量情况 。 研究人员观察到 ， 硬件和算法效率提升是可乘的 ， 并且在有意义的范围内可以达到相似的规模 ， 这表明 AI 进步的良好模型应该整合两者的衡量指标 。
研究结果还表明 ， 对于具有高投资水平（研究人员花极大时间和精力）的 AI 任务 ， 算法效率可能超过硬件效率（摩尔效率）带来的收益 。


推荐阅读


上一篇：业务滴滴，重踩油门

下一篇：亚马逊亚马逊下架新冠新书，马斯克为作者鸣不平，炮轰“老对头”贝佐斯：你是不是疯了？