江苏龙网

  1. 首页 > 人文 > >

openai|人类算力天花板？1750 亿参数的 AI 模型 GPT-3 引爆硅谷( 二 )


GPT-3 在许多 NLP 数据集上均具有出色的性能 ， 包括翻译、问答和文本填空任务 ， 这还包括一些需要即时推理或领域适应的任务 ， 例如给一句话中的单词替换成同义词 ， 或执行 3 位数的数学运算 。
当然 ， GPT-3 也可以生成新闻报道 ， 普通人很难将其生成的新闻报道与人类写的区分开来 。 是不是细思极恐？
通常来说 ， 自然语言处理任务的范围从生成新闻报道到语言翻译 ， 再到回答标准化的测试问题 。 那么训练这个庞然大物需要消耗多少资源呢？
OpenAI 方面表示：“我们在 cuDNN 加速的 PyTorch 深度学习框架上训练所有AI模型 。 每个模型的精确架构参数都是基于 GPU 的模型布局中的计算效率和负载平衡来选择的 。 所有模型都在微软提供的高带宽集群中的NVIDIA V100 GPU上进行训练 。 ”
根据微软早前公布的信息 ， 我们发现微软给 OpenAI 提供的这台超级计算机是一个统一的系统 ， 该系统拥有超过 285000 个 CPU 核心 ， 10000 个 GPU 和每秒 400G 的网络 ， 是一台排名全球前 5 的超级计算机 。
GPT-3 就是在微软这霸道的 “无限算力” 加持下诞生的 ， 据悉其训练成本约为 1200 万美元 。
有什么用？既然训练 GPT-3 需要如此苛刻的超级环境 ， 民间的什么 2080 Ti、线程撕裂者等家用级设备自然都是弟弟 ， 那么我们普通用户要怎么来用这个玩意儿呢？
目前 ， OpenAI 开放了少量 GPT-3 的 API 测试资格 ， 商业公司、研究学者和个人开发者都可以申请 ， 获得资格的用户可以通过远程调用的方式体验 GPT-3 的强大 。 当然 ， 这个资格并不容易拿到……
在国外 ， “ 拿到 GPT-3 测试资格 ” 已经成为了一个“炫富”的新梗……
当然也有早期成功抢到测试资格的用户 。 因为 GPT-3 是一个史无前例的庞大语言模型 ， 所以几乎所有可以用文字表达的工作它都能胜任 ， 你可以指导它回答问题、写文章、写诗歌、甚至写代码 。
首先来看最基本的语言表达功能 ， 下面是网友用 GPT-3 开发的自动回复邮件工具 ， 只需要输入几个简要的回复关键词 ， GPT-3 就能自动生成一篇文笔流畅的回复邮件：
【openai|人类算力天花板？1750 亿参数的 AI 模型 GPT-3 引爆硅谷】
更深入一些 ， 下面这位名叫 yash 的网友用 GPT-3 开发了一个 Python 驱动的财务报表 ， 它可以将日常语言转换成 Python 代码来创建资产负载表：输入“我今天投入了两万美元”、“后三个月的房租预付了 900 美元”这样的自然语言 ， 程序就能自动修改资产负债表上相应的项目数值 。
网友 Faraar Nishtar 调用 GPT-3 写了一个小工具 ， 能直接输入自然文字生成他想要的 SQL 查询代码：
网友 Sharif Shameem 开发出了一个新产品 Debuild 。 这是一个调用了 GPT-3 API 的网页 app 快速生成器 ， 在输入框里用自然语言进行描述 ， 它就可以快速输出你想要的用户界面 ， 比如输入“生成一个像西瓜一样的按钮”:
对于产品经理或前端设计师 ， 只需要在设计软件 Figma 中加入 GPT-3 插件 ， 就可以打字生成你想要的前端效果：
也有开发者给 GPT-3 做了图灵测试 ， 结果发现它的回答很有意思：
“如果在十年前用同样的问题做测试 ， 我会认为答题者一定是人 。 现在 ， 我们不能再以为 AI 回答不了常识性的问题了 。 ”
古人云 ， “熟读唐诗三百首 ， 不会作诗也会吟 。 ” 从人类历史到软件代码 ， 庞大的 GPT-3 模型囊括了互联网中很大一部分用文字记录下来的人类文明 ， 这些记录造就了其强大的文字任务处理能力 。
AI 语言模型参数量级近年来呈指数倍发展 ， 随着在摩尔定律下人类设备算力的提升 ， 在未来的某一天 ， 或许真的将会出现一个无限接近熟读人类历史所有文明记录的超级模型 ， 届时是否会诞生出一个真正的人工智能呢？


推荐阅读


上一篇：微信|微信“新规”试运营阶段，两项功能正式收费，数亿用户措手不及！

下一篇：华为|用了 两年的“小米8探索版”才发现我们都被雷军“骗了”