江苏龙网

  1. 首页 > 人文 > >

如何创建GPT-3的知识的系统地图，到底凭什么砸大家饭碗

边策 发自 凹非寺
GPT-3是指第三代生成式预训练Transformer ， 它由旧AI公司OpenAI 。 该程序历经数年的发展 ， 最近在AI文本生成领域内掀起了一波的创新浪潮 。
从许多方面来看 ， 这些进步与自2012年以来AI图像处理的飞跃相似 。
与所有深度学习一样 ， GPT-3也是数据模式 。 它在庞大的文本集上进行了训练 ， 并根据统计规律进行了挖掘 。
重要的是 ， 此过程中无需人工干预 ， 程序在没有任何指导的情况下查找 ， 将其用于完成文本提示 。
如何创建GPT-3的知识的系统地图，到底凭什么砸大家饭碗
文章图片
海量训练数据
GPT-3的与众不同之处在于它的运行规模和完成一系列令人难以置信的任务 。
第一版GPT于2018年发布 ， 包含1.17亿个参数 。 2019年发布的GPT-2包含15亿个参数 。
如何创建GPT-3的知识的系统地图，到底凭什么砸大家饭碗
文章图片
相比之下 ， GPT-3拥有1750亿个参数 ， 比其前身多100倍 ， 比之前最大的同类NLP模型要多10倍 。
GPT-3的训练数据集也十分庞大 。整个英语维基百科（约600万个词条）仅占其训练数据的0.6％
上传到互联网的文本类型都可能成为其训练数据 ， 其中还包括不良内容 。 比如伪科学、阴谋论、种族主义等等 。 这些内容也会投喂给AI 。
这种不可置信的深度和复杂性使输出也具有复杂性 ， 从而让GPT-3成为一种非常灵活的工具 。
下面是人们使用GPT-3创建的一小部分示例：
GPT-3能做什么
1、 基于问题的搜索引擎：就像Google ， 键入问题 ， GPT-3会将定向到相关的维基百科URL作为答案 。
2、 与历史人物交谈的聊天机器人：由于GPT-3接受过许多数字化书籍的训练 ， 因此它吸收了大量与特定哲学家相关的知识 。 这意味着你可以启动GPT-3 ， 使其像哲学家罗素一样讲话 。
如何创建GPT-3的知识的系统地图，到底凭什么砸大家饭碗
文章图片
3、仅需几个样本 ， 即可解决语言和语法难题 。
4、 基于文本描述的代码生成：用简单的文字描述你选择的设计元素或页面布局 ， GPT-3会弹出相关代码 。
5、 回答医疗问题：来自英国的一名医学生使用GPT-3回答了医疗保健问题 。 该程序不仅给出了正确答案 ， 还正确解释了潜在的生物学机制 。
6、基于文本的探险游戏 。
7、 文本的风格迁移：以某种格式编写的输入文本 ， GPT-3可以将其更改为另一种格式 。
8、 编写吉他曲谱：这意味着GPT-3可以自行生成音乐 。
9、写创意小说 。
10、 自动完成图像：这项工作是由GPT-2和OpenAI团队完成的 。 它表明可以在像素而不是单词上训练相同的基本GPT体系结构 ， 从而使其可以像在文字上一样实现视觉数据自动完成任务 。
如何创建GPT-3的知识的系统地图，到底凭什么砸大家饭碗
文章图片
但是 ， 所有这些样本都需要一些上下文 ， 以便更好地理解它们 。 而令人印象深刻的是 ， GPT-3没有接受过完成任何特定任务的训练 。
常见的语言模型（包括GPT-2）需要完成基础训练 ， 再微调以执行特定任务 。
但是GPT-3不需要微调 。 在语法难题中 ， 它只需要一些所需输出类型的样本称为“少量学习” 。
GPT-3是如此庞大 ， 以至于所有这些不同功能都可以在其中实现 。 用户只需要输入正确的提示就可以调教好它 。


推荐阅读


上一篇：央视|多所百年高校永久关闭！英国这个行业将损失超1700亿元！

下一篇：中国新闻网|印尼累计确诊超11万例 至少72名医生染疫去世