脑极体总共分几步？，注意力机制想要觉醒AI 一场疫情

一场疫情，让所有线下会议按下了暂停键， AI也不例外。
但一年一度的“顶会”却不能不开，于是在4月26日， ICLR2020（国际表征学习大会）就采取虚拟会议的形式，让所有网友得以共襄盛举。

文章图片
值得一提的是，本次ICLR大会接受了2594篇论文中的687篇，吸引了来自近90个国家的5600多名参与者，比2019年的2700人翻了一倍还多。不过，受疫情影响，这次大会也没有评选最佳论文。
既然如此，有没有出现什么新鲜事物，值得我们思索和探究的呢？
那就不得不提到图灵奖获得者、蒙特利尔学习算法研究所主任YoshuaBengio ，在其特邀报告中着重强调的“AI觉醒” 。
此前我们科普过，通用人工智能有多么遥远。怎么短短几年功夫，人工智能就要觉醒了？这就不得不从被Bengio视作机器学习大杀器的注意力机制说起了。
将意识注入机器：注意力机制再添重任
脑极体的资深读者应该对注意力机制并不陌生。在图像处理、语音识别、自然语言处理等机器学习任务中，近两年来都会引入注意力模型。
这么受业界欢迎，它的特点自然很突出：
一是可以让神经网络学会只关注特定的部分，大幅度提升任务的效果与效率，在神经机器翻译、预训练语言模型、图像识别等任务中都表现出了前所未有的成效。 2015年Bahdanau等人提出注意力机制之后，就被ICLR录用，如今它的各种变式已经成为机器翻译算法的“标配” 。
二是降低机器学习的成本，同时增加可解释性。大家都知道深度学习神经网络的模型训练，往往依靠大规模的数据集，不仅数据获取成本很高，训练的算力、时间也不菲，而注意力机制的“选择性” ，能够直接为训练提质增效，并且还能为序列数据建立了权值和映射，从而让输入和输出能够联系起来，避免了算法的“黑箱性” 。
既然注意力机制并不是什么新鲜事物，为什么Bengio特意在其报告《与意识相关的深度学习先验》中，将注意力机制奉为圭臬，甚至成了AI的希望？

文章图片
简单来说， Bengio认为注意力机制能够帮助机器学习模型获得“有意识”的推理。
此前，诸多算法创新（如自监督学习、元学习、多任务学习、迁移学习等）都是在帮助机器学习获得“无意识” ，也就是与人类直觉、习惯、先验经验等类似的能力。
有了这种能力， AI可以很快地执行一些直觉型的任务，让人感到非常智能。比如当AI被训练学会了一些隐性知识以后，能够将这些知识内化，在遇到新事物时不需要重新训练，就能够很快适应。举个例子，当AI记住路况之后，它能够自如地跟乘客聊天，同时也不耽误自己随时响应交通状况、安全驾驶。这是不是已经超越许多人类驾驶员了呢？

文章图片
但如果是在一个全新的道路上开车，如果有人在耳边吵闹，就会打断人类司机的思路，使对方无法集中精力处理。这时候就要用到前面提到的“有意识的”系统，来将一些新的概念，在新的情况下与不熟悉的东西联系起来。
就像《西部世界》的科学顾问、神经学家大卫·伊格尔曼（DavidEagleman）所说，意识，是一种突破程序设定的连接。
当机器可以超越设定开始自行推理和思考，适应甚至推断出外界变化发生的原因，这不就是Deloris（《西部世界》女主角）们觉醒的时刻吗？
从这个角度讲， “有意识”的推理能力，正是深度学习变强大所需要的。
从超越人到模仿人， AI的回归之路

脑极体总共分几步？，注意力机制想要觉醒AI

推荐阅读

唐山国际旅游岛新春庙会大年初四举办

空调制热需要氟利昂吗

「产业气象站」教你跟多电脑冷知识！，带你走进电脑漏洞的世界

[]男子半夜到私人鱼塘钓鱼，却莫名遭到枪击，开枪者：以为是兔子！

厦门茶业城成海峡两岸茶王擂台赛指定赛场

最高悬赏10万！这4人身背重大命案在逃

如何确认土地所有权，土地的所有权和开发权有什么区别

快递小哥和“旺财”的故事

北京日报客户端|中国游戏市场上半年收入增量创历史新高

电动车|电动车出新规，8月1日正式实施，车主拍手称快：难得的好消息

跟程序员的感情该何去何从

|【科学素质】公民科学素质应知应会200问（十九）

#双子座#5月初，相爱变成算计，心灰意冷，3星座眼泪打转，依然霸气离开

趣头条华为牵手特来电，共推桩联网和智能充电发展

观察者网【行走自贸区】航空“试验田”让我们离飞行梦更近

怎样做麻汁拌面,麻汁拌面的酱汁怎么做好吃-

游戏日报|3灵活射手胜率垫底，难道有位移有毒？，王者荣耀：S20快中期了

楼上楼下相通，全靠地板掏洞，悬空楼梯和厨房连一体，不怕油烟？

凭“蛋饺肉丝”梗大火的杜淳，终于找对自己的位置，成功去油

【侠客小贱贱】网友：距离狗拖还差点火候，一仓库迷宫宝箱开启