江苏龙网

  1. 首页 > 人文 > >

与非网■英特尔和IBM押注的神经模态计算究竟是什么

目前英特尔和IBM在内的企业正积极探索超低功耗神经模态芯片在不同领域的应用 ， 在未来几年内随着AI+IoT的发展 ， 神经模态计算将会迎来一波新的热潮 。
人工神经网络的概念以及基本神经元模型于1943年就已提出 ， 这正是试图模拟脑皮层以神经元网络形式进行信息处理的体现 。
卷积神经网络的局部感受野是受到大脑视觉系统的启发 。 深度神经网络的层级构建是源于脑皮层的分层通路 。
只不过在深度学习的后续发展中 ， 研究者更加偏重把神经网络视为一个黑匣 ， 用于拟合从输入到输出的复杂映射关系：
只需要给网络的输出定义一个收敛目标（目标函数 ， 比如每张图像的输出对应到正确的类别）并描述为一个优化问题 ， 然后用梯度下降的方式去更新系统参数主要是突触权重,使得输出逐渐逼近想要的结果 。
原则上网络越大 ， 特征提取的能力就会越强 ， 也就需要越多的数据来训练网络更新参数使网络收敛 ， 因此计算量也大幅增加 。
故而 ， 深度学习也被称为数据和算力驱动的智能 。 虽然深度学习以解决实际应用为目标而与神经科学渐行渐远 ， 但近两年也有科学家试图在大脑中找到梯度下降的证据和吸收新的脑科学成果 。
而机器学习是目前人工智能模型中最卓有成效的一个分支 ， 而深度学习又是当今机器学习的宠儿 ， 其以人工神经网络为主要模型 。
人工神经网络由大量神经元通过突触连接而成 ， 从输入到输出呈现层级结构 ， 当层数较多时则被称为深度神经网络 。
相比于全连接神经网络 ， 卷积神经网络通过引入二维特征图与突触核的卷积操作获得了强大的局部特征提取能力 ， 被广泛用于图像处理领域 。
而反馈神经网络通过引入反馈连接 ， 建立时序动力学模型 ， 被广泛用于处理语音文本等时序数据 。
与非网■英特尔和IBM押注的神经模态计算究竟是什么
文章图片
神经模态计算的重要意义
①目前的深度学习仅能实现人类大脑极小一部分的功能 ， 距离人类的智能还有非常远的距离 ， 而使用神经模态计算直接模仿神经元系统在人工神经元数量足够多时 ， 或将有希望能实现比起深度学习更好的效果 ， 更接近人类大脑 。
②目前深度学习计算在部署上遇到的困难是能效比和延迟问题 ， 在对于功耗要求非常低的物联网领域 ， 以及对于延迟要求非常高的领域无人驾驶领域 ， 部署深度学习会遇到很大的挑战 。
恰好神经模态计算则可以解决这两大问题 。
①神经模态计算的一大优势就是其计算功耗与输入有关 ， 在输入不会激活大量神经元的情况下 ， 其功耗可以做到非常低 。
②对于物联网应用来说 ， 神经模态计算可以利用这样的规律 ， 仅仅在需要的时候激活神经元消费能量来完成事件识别 ， 而在其他没有事件的时候由于神经元未被激活因此功耗很低 ， 从而实现远低于深度学习芯片的平均功耗 。
③神经模态计算并非常规的冯诺伊曼架构 ， 神经模态计算芯片一般也不会搭配DRAM使用 ， 而是直接将信息储存在了神经元里 。 这样就避免了内存墙带来的功耗和延迟问题 ， 因此神经模态计算芯片的延迟和能效比都会好于传统的深度学习 。
与非网■英特尔和IBM押注的神经模态计算究竟是什么
文章图片
国外技术寡头优势明显
近日 ， 英特尔发布了基于其神经模态计算芯片Loihi的加速卡PohoikiBeach ， 该加速卡包含了64块Loihi芯片 ， 共含有八百多万个神经元 。
继IBM发布TrueNorth、英特尔发布Loihi之后 ， PohoikiBeach又一次让神经模态计算走进了聚光灯下 。
深度神经网络压缩技术 ， 当前 ， 深度学习领域目前面临的一大挑战是 ， 主流DNNs都是计算和存储密集型的 ， 这导致在边缘和嵌入式设备的部署面临巨大的挑战 。
为此 ， 英特尔研究院提出了从动态网络手术DNS、渐进网络量化INQ到MLQ多尺度编码量化的低精度深度压缩解决方案 。


推荐阅读


上一篇：「就是爱搞机」11每一次降价都能吸引很多人，4599元，iPhone

下一篇：这些地方最好玩■尼康D780单反相机评测，五年后的良心之作