江苏龙网

  1. 主页 > 生活百科 > >

关于ChatGPT的七个关键问题和技术思考

ChatGPT

近期 ， ChatGPT成为人工智能领域现象级热点 。这是由美国OpenAI公司发布的对话机器人 ， 其“投人所好”的回答备受社会各领域关注 ， 甚至产生是否意味人工智能新一轮技术革命、是否具备类人认知、是否演变为“强大而危险的AI”等一系列热点争议 。
本文剖析ChatGPT的底层技术和演化路径 ， 总结认为其是近几年不断迭代的多种技术叠加而取得的重大成果 ， 属于重大的组合式创新 ， 而也非根本性创新 。同时 ， ChatGPT是人工智能生成内容（AIGC）的重要产品化应用 ， 是工程化突破 ， 将带来数字内容生产方式和消费模式的升级 ， 呈现新型虚实融合的数字文明 。
一、ChatGPT历史版本表现不及google BERT模型 ， 坚持技术理想终于实现重要突破 ， 未来Google相应的模型也值得期待
GPT和BERT是近几年自然语言领域广受关注的预训练语言模型 。其中 ， GPT-1由OpenAI于2018年6月发布 ， Bert是同年10月谷歌AI团队推出 。两者都是基于Transformer模型架构（2017年6月谷歌团队提出） ， 但是GPT以生成式任务为目标 ， 主要是完成语言生成 ， 如聊天、写作等 ， BERT模型更注重判断决策 ， 强调语言理解相关的任务 ， 如问答、语义关系抽取等 。
表GPT和Bert是两类语言模型的典型代表
历史版本上 ， GPT的模型效果弱于BERT ， 但OpenAI坚信生成式技术优势并不断迭代模型 。虽然生成式模型的可控性差、训练难度高 ， 但OpenAI瞄准生成式模型的通用范式高、训练过程更接近运用部署等技术应用优势 ， 始终坚持迭代部署 。ChatGPT的研发过程是艰难曲折的 ， 2018年6月发布GPT-1 ， 而4个月后被谷歌的BERT模型全面超过；2019年2月发布GPT-2 ， 整体效果仍不如BERT；2020年5月发布GPT-3 ， 展现了“提升学习”这一新特点 ， 生成效果离实际应用还有很大距离 。事实上 ， 业界对BERT模型认可度高 ， 多数沿着“无监督训练”和“下游任务微调”的研究范式开展开发 ， 但OpenAI依旧坚持以生成式任务为目标 ， 终于在2022年11月发布ChatGPT ， 产品十分惊艳 ， 是有史以来最短时间用户量突破1个亿的应用 。
二、ChatGPT叠加迭代多种技术 ， 是组合式的迭代创新 ， 也非根本性的理论创新
ChatGPT全称为Chat Generative Pre-Trained Transformer ， 即聊天型生成式预训练转换模型 ， 从算法分类上来讲 ， 它属于生成式的大规模语言模型 ， 其底层的技术 ， 包括Transformer、有监督微调训练、强化学习等 ， 已在人工智能领域有广泛的应用 ， 并非算法上的实质性创新 。ChatGPT巧妙地叠加这些技术 ， 成功展现了由于模型规模带来的突现能力 ， 经过近几年不断迭代部署 ， 量变的积累产生质变 ， 形成了ChatGPT的语言智能 。
本质上 ， ChatGPT是基于大规模语料训练的生成式模型 ， 相比于目前广泛运用的判别式模型 ， 它不局限于在已有的内容的判断、预测（如人脸识别） ， 而是进一步学习归纳后进行演绎 ， 基于历史进行模仿式创作 ， 并生成合意的内容（如文本创作） 。
具体来看 ， ChatGPT的训练原理包含三个步骤 ， 在大语言模型训练基础上 ， 往复多次采用有监督的精调学习和基于人工反馈的强化学习 ， 从而不断加强ChatGPT模型的参数质量 ， 实现模型对话能力关键性突破 。
表ChatGPT训练包含的三个步骤

关于ChatGPT的七个关键问题和技术思考

文章插图
注：PPO（Proximal Policy Optimization） ， 是一种强化学习算法
三、ChatGPT的类人表现基于大量优质的数据语料训练 ， 实现对话意图识别和内容生成能力的突破 ， 但具体场景的通用性和鲁棒性弱于工业界的判别类模型
在人工智能领域 ， ChatGPT是AI算法里程碑式的成果 。根据ChatGPT的实际使用反馈 ， ChatGPT的跃迁式进步体现在——它的交互回答与人类意图的一致性较高 ， 更能“投人所好” ， 具体表现在它的“意图理解能力强”并且“生成能力强” ， 尤其是在多轮对话下能够领会人类的意图 ， 融合异构数据 ， 产生有逻辑且多样化的长文本 ， 远远超过了目前其他AI语言模型的使用效果 。


推荐阅读


上一篇：占用你几分钟时间教你老照片怎么修复

下一篇：电脑本地连接丢失导致无法上网怎么办？