江苏龙网

  1. 主页 > 生活百科 > >

美媒关注：训练出ChatGPT需要消耗多少电力？

ChatGPT


美媒关注：训练出ChatGPT需要消耗多少电力？

文章插图
 
3月10日消息，AI已经重新成为科技行业的热门话题，预计它将彻底改变从零售到医药等价值数万亿美元的行业 。但每创造一个新的聊天机器人或图像生成器都需要耗费大量的电力，这意味着这项技术可能释放大量温室气体，进而加剧全球变暖问题 。
微软、谷歌和ChatGPT制造商OpenAI都要使用云计算，而云计算依赖于全球海量数据中心服务器内数以千计的芯片来训练被称为模型的AI算法，分析数据以帮助这些算法“学习”如何执行任务 。ChatGPT的成功促使其他公司竞相推出自己的AI系统和聊天机器人，或者开发使用大型AI模型的产品 。
与其他形式的计算相比，AI需要使用更多的能源?，训练单个模型消耗的电力超过100多个美国家庭1年的用电量 。然而，虽然AI行业增长非常快，但却不够透明，以至于没有人确切知道AI的总用电量和碳排放量 。碳排放量也可能有很大差异，这取决于提供电力的发电厂类型，靠烧煤或天然气发电供电的数据中心，碳排放量显然高于太阳能或风力发电支持的数据中心 。
虽然研究人员已经统计了创建单一模型所产生的碳排放量，有些公司也提供了有关他们能源使用的数据，但他们没有对这项技术的总用电量进行总体估计 。AI公司Huging Face研究员萨莎·卢西奥尼（Sasha Luccioni）写了一篇论文，量化了她旗下公司Bloom的碳排放情况，Bloom是OpenAI模型GPT-3的竞争对手 。卢西奥尼还试图根据一组有限的公开数据，对OpenAI聊天机器人ChatGPT的碳排放情况进行评估 。
提高透明度
卢西奥尼等研究人员表示，在AI模型的电力使用和排放方面，需要提高透明度 。有了这些信息，政府和公司可能会决定，使用GPT-3或其他大型模型来研究癌症治疗或保护土著语言是否值得 。
更高的透明度也可能带来更多的审查，加密货币行业可能会提供前车之鉴 。根据剑桥比特币电力消耗指数，比特币因其耗电量过大而受到批评，每年的耗电量与阿根廷一样多 。这种对电力的贪婪需求促使纽约州通过了一项为期两年的禁令，暂停向以化石燃料发电供电的加密货币采矿商发放许可证 。
GPT-3是功能单一的通用AI程序，可以生成语言，具有多种不同的用途 。2021年发表的一篇研究论文显示，训练GPT-3耗用了1.287吉瓦时电量，大约相当于120个美国家庭1年的用电量 。同时，这样的训练产生了502吨碳，相当于110辆美国汽车1年的排放量 。而且，这种训练只适用于一个程序，或者说是“模型” 。
虽然训练AI模型的前期电力成本巨大，但研究人员发现，在某些情况下，这只是模型实际使用所消耗电力的40%左右 。此外，AI模型也在变得越来越大 。OpenAI的GPT-3使用了1750亿个参数或变量，而其前身仅使用了15亿个参数 。
OpenAI已经在研究GPT-4，而且必须定期对模型进行再训练，以保持其对时事的了解 。卡内基梅隆大学教授艾玛·斯特鲁贝尔（Emma Strubell）是首批研究AI能源问题的研究人员之一，她说：“如果你不对模型进行再训练，它甚至可能不知道何为新冠肺炎 。”
另一个相对的衡量标准来自谷歌，研究人员发现，AI训练占该公司总用电量的10%至15%，2021年该公司的总用电量为18.3太瓦时 。这意味着，谷歌的AI每年耗电量达2.3太瓦时，大约相当于亚特兰大所有家庭的1年用电量 。
科技巨头做出净零承诺
虽然在许多情况下，AI模型变得越来越大，但AI公司也在不断改进，使其以更高效的方式运行 。微软、谷歌和亚马逊等美国最大的云计算公司，都做出了碳减排或净零承诺 。谷歌在一份声明中表示，到2030年，该公司将在所有业务中实现净零排放，其目标是完全使用无碳能源运营其办公室和数据中心 。谷歌还在使用AI来提高其数据中心的能效，该技术直接控制设施中的冷却系统 。
OpenAI也列举了该公司为提高ChatGPT应用程序编程接口的效率所做的工作，帮助客户降低了用电量和价格 。OpenAI发言人表示：“我们非常认真地承担起阻止和扭转气候变化的责任，我们对如何最大限度地利用我们的计算能力进行了很多思考 。OpenAI运行在Azure上，我们与微软团队密切合作，以提高运行大型语言模型的效率并减少碳排放 。”
微软指出，该公司正在购买可再生能源，并采取其他措施，以实现之前宣布的目标，即到2030年实现净零排放 。微软在声明中称：“作为我们创造更可持续性未来承诺的一部分，微软正在投资于研究，以衡量AI的能源使用和碳排放影响，同时致力于提高大型系统在培训和应用方面的效率 。”


推荐阅读


上一篇：没有了

下一篇：数据工程师的重要数据结构和算法