大模型2024：先把价格打下去( 二 ) _大模型

同期，Mistral AI先后推出号称当时“最强的70亿参数开源模型”Mistral 7B、首个开源MoE大模型Mistral 8x7B 。其中， Mistral 8x7B更是以一条简单粗暴的磁力链接引领了大模型发布的新范式，给业界带来震撼。
凭借巨额融资叠加新品发布，Mistral AI的估值也曾一夜之间飙升至20亿美元，成为大模型领域的新晋独角兽。而Mistral AI更引人关注的是，从初期只有6人的小团队成长至今， Mistral AI一直是MoE路线的忠实信徒。
MoE即“混合专家模型”，这种模型设计策略通过将大模型分解为多个子模块，提高模型的容量、处理能力和效率。MoE架构主要由“专家”和门控机制两部分构成。每个“专家”相当于一个小型的Transformer模型，专门处理特定类型的输入数据，多个“专家”的结合则使模型具备了更好的性能。而门控机制则用于判定输入样本需由哪些“专家”接管处理。
大模型的大规模应用与其算力成本紧密相关。对于模型厂商而言，目前主要的算力成本包括预训练成本和推理成本。除去GPU每秒运算次数和显卡的租用成本这两个常量后，大模型的预训练成本与模型参数量和训练数据的token量正相关，推理成本与模型参数量正相关。而大模型的性能通常与其参数量相关联，而越高的参数量意味着越高的算力成本。因此，如何在同样的算力成本下提升大模型的参数量成了破局的关键。
而MoE的解题思路是引入稀疏性，即模型训练过程中，各有所长的“专家”们独立训练、各司其职，在过滤重复信息、减少数据干扰的同时大幅提升模型的学习速度与泛化能力；在推理过程中，每次推理只按需调用部分“专家”，激活其对应的部分参数，如此便有效降低了相同参数下大模型的算力成本。

文章插图
有意思的是，OpenAI在去年成为“当红炸子鸡”成功得到众多重度用户的续费后，被曝采用MOE重新设计了GPT-4构架，导致性能受到影响。尽管OpenAI官方并未对此进行正面回应，但利用MOE架构降低训练成本，已经被认为是一个无比自然的发展方向。
Mistral AI同样未公布大模型的具体参数与训练数据Token数，但此前谷歌应用MoE开发出的GLaM模型参数量达12000亿、训练数据16000亿token，分别是GPT-3.5的6.8倍和5.3倍，其实际的训练成本却只有GPT-3.5的三分之一也印证了MoE框架的高效。
延续着MoE的路线，如果说此前发布的开源模型Mistral 7B、Mistral 8x7B实现了对LLaMA等大参数开源模型的逆袭，此次发布的Mistral Large则是Mistral AI对可持续商业模式的探索，试图以闭源模型搭建可盈利的产品线。
大模型进入成本战
顶着对华芯片禁售的压力，芯片巨头英伟达以一份耀眼的四季报打消了市场顾虑：在数据中心与游戏业务双核驱动下，英伟达2023年四季度营收、净利润大幅超出预期，毛利率再创历史新高。业绩加持下，英伟达业绩已突破2万亿美元，更接连超越亚马逊、沙特阿美，成为仅次于微软和苹果的全球第三大公司。
数据、算力和算法构成了大模型的基石。在当下这波如火如荼的大模型淘金热中，从学界到初创企业再到巨头纷纷下场，而无论其技术路线是开源或闭源，应用场景是通用或垂直，AI芯片作为大模型大脑，始终是模型预训练和推理必不可少的工具。

文章插图
身为高端GPU市场中唯一的提供方，“军火商”英伟达是这场大模型军备竞赛中永远的赢家——以A100为例，若要通过训练达到ChatGPT级别的性能，至少消耗一万张A100加速卡，巨头们囤货的单位也以万张起，怎能不赚得盆满钵满？
但换个角度来看，在GPU供应短缺的背景下，一张A100显卡售价约10000美元甚至更高，对于大模型厂商来说，在应用落地和商业化前景仍不明朗的情况下，动辄上亿美元真金白银的投入必然肉疼。在算力、数据、人力等资源成本高企的情况下，如何用相对低的成本训练出一个想要的大模型，并以一个用户可接受的成本让大模型跑起来是大模型行业在2024年的当务之急。
在保证同等效果前提下，提高硬件利用率，缩短算力使用时长；优化工具链以提高训练、推理效率；适配低价GPU是当前国内大模型厂商降本的主流方法论。
例如，面向大模型训练，腾讯升级了自研机器学习框架Angel，针对预训练、模型精调和强化学习等全流程进行了加速和优化，提升了内存的利用率。借此，大模型训练效率可提升至主流开源框架的2.6倍，用该框架训练千亿级大模型可节省50%算力成本，大模型推理速度提高了1.3倍。