一次模型训练相当70万公里排放量？深度学习耗能超乎你想象
文章插图
【一次模型训练相当70万公里排放量？深度学习耗能超乎你想象】智东西（公众号：zhidxcom）
编 | 子佩
智东西11月4日消息 ， 当视频网站给我们推荐电影或节目；当智能客服回答我们各种各样的问题…在不知不觉中 ， 深度学习已经慢慢渗入我们的日常生活 ， 但其带来的巨大能源消耗却容易被我们忽略 。
从2012年到2018年 ， 深度学习计算量增长了3000倍 。 最大的深度学习模型之一GPT-3单次训练产生的能耗相当于126个丹麦家庭一年的能源消耗 。 据科学界内部估计 ， 如果继续按照当前的趋势发展下去 ， 比起为气候变化提供解决方案 ， 人工智能可能先成为温室效应最大的罪魁祸首 。
但解决这一问题的关键是 ， 先知道碳足迹和开发算法所需的能耗 。
哥本哈根大学计算机科学系的两名学生Lasse F. Wolff Anthony、Benjamin Kanding与助理教授Raghavendra Selvan一起开发并公开了软件程序Carbontracker ， 用于计算、预测深度学习模型训练过程中产生的能耗和二氧化碳排放量 。
文章插图
代码链接：
一、单次训练等于126个家庭一年能耗简单来说 ， 深度学习训练的过程就是数学模型从大量数据中学习、识别模式的过程 。 这同时也是一个耗能的过程 ， 需要高性能计算机一天24小时不间断运转 。
Benjamin Kanding说：“随着数据集一天一天地增长 ， 算法需要解决的问题变得越来越复杂 。 ”
迄今为止技术人员开发过的最大的深度学习模型之一是称为GPT-3的高级语言模型 。 一次模型训练所消耗的能源就相当于126个丹麦家庭一年的能源消耗 ， 还会产生与驾驶700000公里相同的二氧化碳排放量 。
Lasse F. Wolff Anthony也提到：“人工智能领域发展迅猛 ， 深度学习模型也不断从层级和架构方面扩大规模以满足人们的需求 。 现在 ， 模型规模呈指数级增长 ， 同时也意味着能源消耗的增加 ， 这是大多数人都没有想到的 。 ”
二、绿色能源、模型调参？能耗降低有妙招为了避免训练模型由于能源消耗可能造成的环境影响 ， Carbontracker也会收集在不同地区进行算法训练所消耗的二氧化碳数据 ， 这样就可以将能耗问题转化为二氧化碳排放 ， 从而更容易地对不同模型所产生的能耗进行预测 。
Carbontracker开发者也呼吁深度学习的程序设计者关心能耗问题 。
模型训练所消耗的能量跟很多因素都有关 ， 像所运用的能源类型、配套硬件性能和算法模型设计 。
其中 ， Lasse F. Wolff Anthony也提到有很多种方式可以减少模型训练对环境造成的负面影响 。
例如 ， 如果技术人员选择在一些绿色能源丰富的地方训练模型 ， 像爱沙尼亚或瑞典 ， 那么能耗也不会很高 ， 因为绿色能源能将碳足迹减少60倍以上 。
不同的算法能耗也大不相同 。 有些算法所需计算量较少 ， 在能耗不高的情况下就可以达到相同的效果 。 如果技术人员调整模型中某些参数 ， 以减少计算量 ， 那模型训练所需的能耗也会有很大程度的降低 。
参考信源：ScienceDaily
文章插图
推荐阅读
- Satechi推出Dock5多设备充电站 一次可同时充五种设备
- 最壕“年终奖”出炉！雷军下血本：一次颁发两个百万美金技术大奖
- Google AI建立了一个能够分析烘焙食谱的机器学习模型
- 研究人员吐槽当前AI训练效率过于低下
- 有没有必要给老年人买台智能手机？
- 无线网络联盟：Wi-Fi 6E是二十年来最重大的一次升级
- 让35亿人用上5G！美巨头突然宣布，华为这一次也落后了？
- 中国移动又开始了一次奇怪尝试
- 芯片巨头推出5G新品，拿下9个第一次，全球35亿人集体受益
- OpenAI推DALL-E模型：能根据文字描述生成图片