江苏龙网

  1. 首页 > 人文 > >

下一代人工智能：无监督学习、联合学习、Transformer( 二 )


最近 ， 医疗保健已经成为联合学习应用的一个特别有前途的领域 。
原因很容易理解 。 一方面 ， 医疗保健领域有大量有价值的人工智能用例 。 另一方面 ， 医疗数据 ， 特别是患者的个人身份信息 ， 是极其敏感的；像HIPAA这样错综复杂的法规限制了它的使用和移动 。 联合学习可以使研究人员开发拯救生命的医疗人工智能工具 ， 而永远不会从来源移动敏感的健康记录 ， 也不会让它们暴露在隐私泄露的风险之下 。
除了医疗保健 ， 联合学习有朝一日可能会在任何涉及敏感数据的人工智能应用程序的开发中发挥核心作用：从金融服务到自动驾驶汽车 ， 从政府使用案例到各种消费产品 。
今天全球范围内正在实施的数据隐私立法浪潮(从GDPR和CCPA开始 ， 很快就会有许多类似的法律出台)只会加速对这些隐私保护技术的需求 。 预计联合学习在未来几年将成为人工智能技术堆栈的重要组成部分 。
下一代人工智能：无监督学习、联合学习、Transformer文章插图
3. Transformers
我们已经进入了自然语言处理的黄金时代 。
OpenAI发布的GPT-3是有史以来最强大的语言模型 ， 今年夏天吸引了科技界的注意力 。 它在NLP中设定了一个新标准：它可以写出令人印象深刻的诗歌 ， 生成功能代码 ， 撰写深思熟虑的商业备忘录 ， 写关于自己的文章等等 。
GPT-3只是一系列类似架构的NLP模型中最新的(也是最大的) ， 这些模型包括Google的Bert、OpenAI的GPT-2、Facebook的Roberta和其他模型 ， 这些模型正在重新定义NLP的可能性 。
这场语言人工智能革命背后的关键技术突破是Transformers 。
Transformers是在2017年一篇具有里程碑意义的研究论文中介绍的 ， 是TensorFlow 2.0和PyTorch的最新自然语言处理库 。 以前 ， 最先进的NLP方法都是基于递归神经网络(例如 ， LSTM) 。 根据定义 ， 递归神经网络按顺序处理数据 ， 即按照单词出现的顺序 ， 一次处理一个单词 。
Transformers最大的创新是使语言处理并行化：同时分析给定文本正文中的所有标记 ， 而不是按顺序分析 。 为了支持这种并行化 ， Transformers严重依赖于一种称为注意力的人工智能机制 。 注意力使模型能够考虑单词之间的关系 ， 而不管它们之间的距离有多远 ， 并确定段落中哪些单词和短语是最需要“注意”的 。
为什么并行化如此有价值？因为它使Transformers的计算效率大大高于RNN ， 这意味着他们可以在更大的数据集上进行训练 。 GPT-3训练了大约5000亿个单词 ， 由1750亿个参数组成 ， 使现有的任何RNN都相形见绌 。
到目前为止 ， Transformers几乎只与NLP联系在一起 ， 这要归功于像GPT-3这样的型号的成功 。 但就在本月 ， 一篇突破性的新论文发表了 ， 该论文成功地将其应用于计算机视觉 。 许多人工智能研究人员认为 ， 这项工作可能预示着计算机视觉的新纪元 。
虽然谷歌和Facebook等领先的人工智能公司已经开始将基于Transformers的模型投入生产 ， 但大多数组织仍处于这项技术的生产和商业化的早期阶段 。 OpenAI已经宣布计划让GPT-3可以通过API进行商业访问 ， 这可能会为在其上构建应用程序的初创公司提供整个生态系统的种子 。
期待Transformers在未来几年成为全新一代人工智能能力的基础 ， 从自然语言开始 。 尽管过去十年在人工智能领域令人兴奋 ， 但这可能只是未来十年的前奏 。


推荐阅读


上一篇：中美韩5G网速对比：台湾211兆，韩国336兆，美国有多快？

下一篇：上，那群认真分享知识的人真“酷”