江苏龙网

  1. 主页 > 生活百科 > >

“未来将进入算法时代”！中科院鄂维南、阿里云王坚、商汤科技徐立热聊ChatGPT( 二 )

ChatGPT


大模型，是ChatGPT的基座，2023全球人工智能开发者先锋大会期间，不少顶尖专家也对大模型的发展发表了自己的见解 。
昇思MindSpore业务总经理丁诚给出了一个形象的比喻 。丁诚认为，大语言模型数据结构很简单，是矩阵成，它特点是参数量特别大，就好比人类具备了超级大脑，“接下去大模型训练过程中是通过大数据大算力来喂，在这个过程中好比本身聪明绝顶拥有超级大脑的人接受了博览群书，接受了各种知识的训练，这样的人类到各行各业里应用，都是大有可为的 。”
在2月26日下午的“智领未来：大模型技术与应用论坛”上，对于大模型，百度飞桨总架构师于佃海给出了他的定义 。
于佃海表示，AI预训练大模型，是深度学习崛起以来最重要的一次技术变革 。大模型不只是模型参数规模更大，同时也对应着学习机制和AI研发应用范式的改变 。自监督学习模式突破了数据标注的困境，可以从海量数据(23.940, 0.33, 1.40%)中学习到丰富的通用知识 。基于大模型，只需要通过模型微调或是提示等方式，就可以在广泛下游任务中取得优异效果，极大降低了AI开发和应用的门槛 。
复旦大学计算机学院教授邱锡鹏也在论坛上表示：“从早期的预训练模型，一直到GPT3，GPT3的规模远超过之前的模型，之前的模型是千万到亿级别，GPT3直接到了千亿级别 。”
他提到，当模型从小规模发展到大规模的时候，发展到一定阶段会涌现出一些原来小模型上观测不到的能力，“我们把这一能力称为‘涌现’ 。”
邱锡鹏表示，对大模型，主要观察数学建模能力、上下文的理解能力、学习能力等，会发现大概在百亿规模之后就会发生突变 。
“能力不再是线性增长，之前是线性或者类线性增长，随着规模增长，收益或者边际效应越来越弱的，但是突然在百亿规模之后，能力就会大幅度增长 。我们把这些能力归结为在模型大了以后，就涌现出来了 。”
那么，大模型到底有多大？分水岭在哪？
“一个标志性的分水岭就是百亿规模，百亿以下我们不再认为是大模型 。”邱锡鹏表示，“我们自己开发一个智能涌现能力的模型，至少应该是百亿起步的 。”
邱锡鹏表示，如今大模型已经承载了非常多的知识，但是文本知识写完了之后，下一步怎么发展，一个非常重要的就是要把大语言模型和现实世界打通，让它与现实世界不断交互，才能学到更多的文本无法表达的知识 。
2月20日，国内第一个对话式大型语言模型MOSS便是由邱锡鹏团队发布至公开平台 。在2023全球人工智能开发者先锋大会上，邱锡鹏也谈到了MOSS 。
邱锡鹏透露：“MOSS大模型计划在一个月之内，和人类不断交互，进行优化，顺利的话将于3月底开源 。”
值得关注的是，在论坛现场，邱锡鹏提到了ChatGPT与实现通用人工智能之间的关系 。
“通用人工智能应当具备听说读写、思考推理以及行动等能力，就ChatGPT目前的表现来看，目前虽然不具备听觉、视觉能力，但我相信未来接入这方面的能力不是特别难的事情 。这样的话，可以把它当成类似智能体，以及把它和现实世界打通 。”邱锡鹏说 。
他认为，ChatGPT展示出了非常好的通向人工智能的潜力，“也就是说ChatGPT的出现，或者说涌现出来的很多能力，大大缩短了我们此前实现通用人工智能的时间预期 。”

【“未来将进入算法时代”！中科院鄂维南、阿里云王坚、商汤科技徐立热聊ChatGPT】


推荐阅读


上一篇：没有了

下一篇：不要转账！不要转账！不要转账！