对于 OpenAI API 的用户， 定价基于模型和使用情况而变化 ， 例如 GPT-3.5-turbo 通用聊天服务的收费标准 为 0.002$/1k token, 0.003$/1k token0. 12$/1k token
训练大模型的能耗同样惊人， 日前， 斯坦福大学人工智能研究所发布的一份新报告估计， 训练像 OpenAI 的 GPT-3 这样的人工智能模型所需消耗的能量， 足以可以让一个普通美国家庭用上数百年了 。训练一个 6b trans- former 总能消耗估计约为 103.5 Mwh ，google 称，训练 PaLM 两个月左右耗费约了 3.4 Gwh 。
文章插图
【大规模语言模型--训练成本】训练大语言模型二氧化碳排放量对比示意图
上图中展示了训练四种模型相关的碳成本的研究:DeepMind 的 Gopher 、BigScience inititiaives 的 BLOOM、 Meta 的 OPT 和 OpenAI 的 GPT-3 。据报道， OpenAI 的模型在训练期间释放了 502 公吨碳 。它释放的碳含量是 Gopher 的 1.4 倍，是 BLOOM 的 20.1 倍 。GPT-3 的耗电量也是最大的， 达 1，287MWh 。每个模型的能耗受很多 因素影响，包括数据点或参数的数量，它们训练所在的数据中心的能效 。尽管能耗存在明显差异，四个模型中 有三个(DeepMind 的 Gopher 除外) 都是在大致相当的 1750 亿个参数上进行训练的 。OpenAI 并没有透露其新 发布的 GTP-4 训练了多少参数，鉴于该模型前几个版本之间所需数据的巨大飞跃，可以肯定 GTP-4 比之前的版 本需要更多数据 。
推荐阅读
- 生成式AI与大模型有什么区别和联系？
- 使用Python语言和Pygame库，一步步打造自己的五子棋游戏！
- 网络用语vs什么意思 网络语言vs什么意思
- 春节促销活动推广语言 春节促销活动推广语言有哪些
- 节奏基石指的是有语言中最小的 节奏基石指的是
- C 语言程序如何在计算机内部工作？
- 揭秘大模型背后的知识储存与提取技术
- 大模型助力高效创建知识图谱
- 火山引擎向量数据库：抖音大规模实践
- 使用 Triton 部署 chatglm2-6b 模型