江苏龙网

  1. 主页 > 生活百科 > >

训练一次ChatGPT，“折寿”3000辆特斯拉

ChatGPT


训练一次ChatGPT，“折寿”3000辆特斯拉

文章插图
出品｜虎嗅科技组
作者｜包校千
编辑｜陈伊凡
题图｜视觉中国
由OpenAI自主开发的聊天应用ChatGPT风靡全球后，立即在全球范围内掀起了大模型开发的热潮 。但准备参战的玩家们很快便认清现实，这不过是一场由巨头主宰的游戏，其中的关键，就是能耗 。
知名计算机专家吴军的形容并不夸张——ChatGPT每训练一次，相当于3000辆特斯拉的电动汽车，每辆跑到20万英里，约32.19万公里 。而普通家用汽车年均行驶里程在1.5万公里左右，ChatGPT每训练一次，就相当于3000辆特斯拉在一个月走完了21年的路 。
即便是对大模型跃跃欲试，准备“带资入组”的大佬，也不得不掂量下：腰包里的银两，究竟够花多久？
过去一年，OpenAI的总支出是5.44亿美元 。国盛证券估算，GPT-3的单次训练成本就高达140万美元，对于一些更大的LLM（大型语言模型），训练成本介于200万美元至1200万美元之间 。
其中，“大模型训练成本中60%是电费，”华为AI首席科学家田奇在近日一场AI大模型技术论坛上强调，电力的降本增效已迫在眉睫 。如果大模型普及，全球飞速运转的服务器，怕不会把地球烧了 。
既然大模型训练的成本中，电费占主要部分，那么究竟是哪些环节在耗电？又能如何优化？
大模型是“电老虎”
OpenAI曾在其《AIandCompute》分析报告中指出，自2012年以来，AI训练应用的电力需求每3个月到4个月就会翻一倍 。根据田奇给出的数据，AI算力在过去10年至少增长了40万倍 。其中，拉高AI大模型能耗的一大要因，就是参数训练集的规模 。
OpenAI首席执行官SamAltman在接受公开采访时表示，GPT-3的参数量为1750亿 。最近发布的GPT-4 参数量是GPT-3的 20 倍，计算量是GPT-3的10倍 。最快于2024 年底发布的GPT-5，参数量将达到GPT-3的100 倍，计算量将飙升至200到400倍 。
根据斯坦福人工智能研究所（HAI）发布的《2023年人工智能指数报告》，训练像OpenAI的GPT-3这样的人工智能模型所需消耗的能量，足可以让一个普通美国家庭用上数百年了 。GPT-3是目前大模型中有据可查的第一大“电老虎”，耗电量高达1287兆瓦时 。
公司模型参数量PUE电力消耗DeepMindGopher280B1.081066MWhHugging FaceBLOOM176B1.20433MWhOpenAIGPT-3175B1.101287MWhMetaAIOPT175B1.09324MWh
数据来源：Luccioni et al., 2022，虎嗅制图
即使是由人工智能初创公司 Hugging Face 搭建的更为高效的BLOOM模型，耗电量也达到433兆瓦时，足以为一个普通美国家庭供电41年 。
参数训练集的规模，是拉高大模型能耗的主要因素 。其中AI处理器和芯片，是产生能耗最主要的地方，一位信息和通信技术从业者告诉虎嗅，CPU 和GPU 的功耗通常占服务器整机的80% 。不过和普通服务器750W到1200W的标准功耗相比，AI服务器由于配置多个系统级芯片，在运行AI模型时会产生更多的能耗 。
以英伟达DGX A100服务器为例，搭载8颗A100 80GB GPU，最大系统功耗达到6500W，外形尺寸为6U，考虑42U的标准机柜，则单机柜可放置7个DGX A100服务器，对应功耗为45.5KW 。
按照ChatGPT在今年1月日均1300万的UV标准，OpenAI需要3万多张A100 GPU，初始投入成本约为8亿美元，折算下来的电费每天是5万美元左右 。
“如果大模型的使用者越来越多，为了保证时延，需要追加服务器订单，来提供更多的基础算力 。假设有10万用户的并发计算量，差不多要30万到40万张GPU才够 。”某头部数据中心业务负责人推算道 。
数据显示，ChatGPT的总算力消耗约为3640PF-days，这需要七到八个投资规模30亿、算力为500P的数据中心才能支撑运行 。根据半导体行业资讯机构SemiAnalysis估算，未来如果让ChatGPT承担谷歌搜索的全部访问量，至少也需要410万张英伟达A100 GPU 。
训练一次ChatGPT，“折寿”3000辆特斯拉

文章插图
OpenAI训练其模型所需的云计算基础设施规模是前所未有的，比业内任何人试图构建的GPU算力集群都要庞大
目前，微软在六十多个Azure数据中心部署了几十万张GPU，为ChatGPT提供超强算力 。作为OpenAI最大的投资方，微软拿到了云计算基础设施的独家供应权，并开始下一代AI超级计算机的开发工作当中，数万张英伟达A100 GPU以及新一代H100 GPU都将被导入其中 。
前所未有的算力规模，连业内专家都在感慨，这是一件多么疯狂的事 。
AI引发新技术革命
疯狂的事，催生更疯狂的想象力 。


推荐阅读


上一篇：OpenAI CEO：大语言模型规模已接近极限，并非越大越好

下一篇：嘴上说不在乎，大厂员工已经偷偷卷起了AIGC操作技巧