潇洒又人文|研究人员希望让人工智能芯片“睡个好觉”以提升整体表现


尽管人工神经元平台已较传统计算机更加“人性化” , 但新研究称“睡个好觉”或有助于其发挥更大的作用 , 而不是定期将它关闭一阵子 。 据悉 , 神经元会在暴露于“慢波信号”时获益(比如睡眠期间生物大脑中的型号) 。 神经网络由人工神经元组成 , 它们很像是真实存在于生物闹钟的神经元 —— 彼此间可发出信号、经常使用的连接会随着时间的推移而得到加强 , 从而有效地推动神经网络的自我学习 。

潇洒又人文|研究人员希望让人工智能芯片“睡个好觉”以提升整体表现
本文插图

(来自:LANL)
传统计算机采用了顺序处理的方式 , 但神经网络可以并行处理不同的信息流 , 使之在图像和语音识别等领域发挥了重要的作用 。
然而与生物大脑相比 , AI 学习有着一个巨大的不同 —— 缺乏睡眠 。 对于人类来说 , 良好的睡眠不仅有助于巩固记忆 , 还能够降低肥胖、抑郁、阿尔兹海默病、以及猝死等风险 。
尽管神经网络平台无需担心体重增长 , 但长时间工作后也会让神经元变得不稳定 。 洛斯阿拉莫斯国家实验室的一项新研究指出 , 这种情况会在无监督的词典训练期间发生 。
这项探索性的技术 , 希望通过网络识别对象间的相似性 , 以长期对其进行分类 , 但又没有给出明确的示例来对其进行检查 。
研究合著者 Garrett Kenyon 表示:“只有在尝试利用生物学上逼真的尖峰神经形态处理器、或试图了解生物学本身时 , 才能理解如何避免学习系统变得不稳定” 。
绝大多数的机器学习、深度学习和 AI 研究人员从未遇到过这个问题 , 因为他们研究的人工系统可以执行全局数学运算 , 对系统的调节具有整体动态增益的作用 。
为研究如何帮助人工神经网络集中注意力 , 研究人员尝试将之暴露于不同的白噪声信号中 。
结果发现由宽范围的频率和振幅组成的高斯噪声的效果最好 , 可使神经元平静下来并恢复其稳定性 。
有趣的是 , 在恢复性的慢波睡眠阶段 , 这些波与在人脑中的波动相似 。 研究一作 Yijing Watkins 表示:“这就像我们给神经网络提供了一夜好睡眠” 。
下一步 , 研究人员希望在英特尔强大的神经形态芯片 Loihi 上测试该算法 。 通过让芯片偶尔转入“睡眠”状态 , 研究团队希望此举有助于其更好地处理来自视网膜摄像头的视觉信息 。
【潇洒又人文|研究人员希望让人工智能芯片“睡个好觉”以提升整体表现】有关这项研究的详情 , 将在 6 月 14 日举办的计算机视觉研讨会上作进一步介绍 。


    推荐阅读