LLM 大模型最新趋势总结 _LLM

引言
又几个月过去了，大模型（LLM）行业有什么新进展、新趋势？

文章插图
（0）总结——太长不看
关键结论：
开源社区模型不具备真正智能，更好的小模型来自大模型的 Scale Down
GPT-4模型信息：采用MoE架构， 16个experts ， 800b参数
如何减少幻觉 hallucination？scaling/retrieval/reward model
指令遵循的开源小模型被过度炒作，已经到达瓶颈，突破方向是更强的 Base Model 和更进一步的反馈数据
用不了多久，大家会把80%算力从 TrAIning 转向 Serving
预计未来模型的迭代节奏会很像手机系统：1-2 年更新一次大版本，中间有无数次小版本迭代；
中期来看， RLHF 不应该是 Alignment 的唯一手段， Direct Preference Optimization 和 Stable Alignment 是新路径
长期来看，小版本迭代的角度：隐私/权限的增强、更多的图片/文件/声音格式的 Embedding
LLM 的 Context Window 就像电脑内存，向量数据库是 LLM 的硬盘
Robot Learning 已成为学界主流研究路线
（1）上一期报告回顾
3个月前，文章（The Age of AI：拾象大模型及OpenAI投资思考）介绍了拾象投研机构对LLM的调研报告，内容涉及：
① 什么是大模型？LLM是新一代通用计算机， windows 95 级别的计算机平台；
② 从基础模型到 Killer Apps ，价值链如何被分配？OpenAI、Anthropic 为代表的基础模型能力边界不断拓宽，占据价值链中最主要的环节；
③ 什么是 AI Native 应用？AI Native 应用不是语言模型的嵌套，而是对现有软件服务的重构；
④ LLM 浪潮下，科技巨头们是如何和 LLM 做结合的？顶级CEO 们对于 LLM 尚未形成共识，未来 6 个月是重要的窗口期；
⑤ OpenAI 为什么能够成为 LLM 最强王者？OpenAI 组织活力来自自上而下对 AGI 的坚定信仰、极高的人才密度，以及自下而上推动创新的实验机制。
具体来说，对于LLM的几个关键判断：
① LLM是计算机，而OpenAI的GPT系列将成为Windows 95级别的计算机平台