脑极体总共分几步？，注意力机制想要觉醒AI
一场疫情 ， 让所有线下会议按下了暂停键 ， AI也不例外 。
但一年一度的“顶会”却不能不开 ， 于是在4月26日 ， ICLR2020（国际表征学习大会）就采取虚拟会议的形式 ， 让所有网友得以共襄盛举 。
文章图片
值得一提的是 ， 本次ICLR大会接受了2594篇论文中的687篇 ， 吸引了来自近90个国家的5600多名参与者 ， 比2019年的2700人翻了一倍还多 。 不过 ， 受疫情影响 ， 这次大会也没有评选最佳论文 。
既然如此 ， 有没有出现什么新鲜事物 ， 值得我们思索和探究的呢？
那就不得不提到图灵奖获得者、蒙特利尔学习算法研究所主任YoshuaBengio ， 在其特邀报告中着重强调的“AI觉醒” 。
此前我们科普过 ， 通用人工智能有多么遥远 。 怎么短短几年功夫 ， 人工智能就要觉醒了？这就不得不从被Bengio视作机器学习大杀器的注意力机制说起了 。
将意识注入机器：注意力机制再添重任
脑极体的资深读者应该对注意力机制并不陌生 。 在图像处理、语音识别、自然语言处理等机器学习任务中 ， 近两年来都会引入注意力模型 。
这么受业界欢迎 ， 它的特点自然很突出：
一是可以让神经网络学会只关注特定的部分 ， 大幅度提升任务的效果与效率 ， 在神经机器翻译、预训练语言模型、图像识别等任务中都表现出了前所未有的成效 。 2015年Bahdanau等人提出注意力机制之后 ， 就被ICLR录用 ， 如今它的各种变式已经成为机器翻译算法的“标配” 。
二是降低机器学习的成本 ， 同时增加可解释性 。 大家都知道深度学习神经网络的模型训练 ， 往往依靠大规模的数据集 ， 不仅数据获取成本很高 ， 训练的算力、时间也不菲 ， 而注意力机制的“选择性” ， 能够直接为训练提质增效 ， 并且还能为序列数据建立了权值和映射 ， 从而让输入和输出能够联系起来 ， 避免了算法的“黑箱性” 。
既然注意力机制并不是什么新鲜事物 ， 为什么Bengio特意在其报告《与意识相关的深度学习先验》中 ， 将注意力机制奉为圭臬 ， 甚至成了AI的希望？
文章图片
简单来说 ， Bengio认为注意力机制能够帮助机器学习模型获得“有意识”的推理 。
此前 ， 诸多算法创新（如自监督学习、元学习、多任务学习、迁移学习等）都是在帮助机器学习获得“无意识” ， 也就是与人类直觉、习惯、先验经验等类似的能力 。
有了这种能力 ， AI可以很快地执行一些直觉型的任务 ， 让人感到非常智能 。 比如当AI被训练学会了一些隐性知识以后 ， 能够将这些知识内化 ， 在遇到新事物时不需要重新训练 ， 就能够很快适应 。 举个例子 ， 当AI记住路况之后 ， 它能够自如地跟乘客聊天 ， 同时也不耽误自己随时响应交通状况、安全驾驶 。 这是不是已经超越许多人类驾驶员了呢？
文章图片
但如果是在一个全新的道路上开车 ， 如果有人在耳边吵闹 ， 就会打断人类司机的思路 ， 使对方无法集中精力处理 。 这时候就要用到前面提到的“有意识的”系统 ， 来将一些新的概念 ， 在新的情况下与不熟悉的东西联系起来 。
就像《西部世界》的科学顾问、神经学家大卫·伊格尔曼（DavidEagleman）所说 ， 意识 ， 是一种突破程序设定的连接 。
当机器可以超越设定开始自行推理和思考 ， 适应甚至推断出外界变化发生的原因 ， 这不就是Deloris（《西部世界》女主角）们觉醒的时刻吗？
从这个角度讲 ， “有意识”的推理能力 ， 正是深度学习变强大所需要的 。
从超越人到模仿人 ， AI的回归之路
推荐阅读
- 5g手机▲120Hz＋双模5G，售价2199元，前后总共六摄
- 『脑极体』陷于利益，败于“聪明”，硅谷天才陨落记：始于才华
- 「微信」烦人的朋友圈广告，只要几步就能屏蔽掉！
- 『路由器』两个路由器怎样设置进行无线桥接？简单几步轻松搞定！
- 脑极体@如何打开商业化正确姿势？，情感智能进行时
- 【脑极体】5G位移下的封装产业“地壳运动”
- 『Java』阿里P8终于整理出了Java并发编程实践pdf，总共433页
- 脑极体■精耕新基建：智能IP网络构筑稳固的连接基石
- 『脑极体』云游戏的摆渡人：一首百度智能云的“棹歌”
- 『脑极体』5G加速度：北京联通与华为如何化身“超级马力”？