人工智能300年！LSTM之父万字长文：详解现代AI和深度学习发展史( 三 ) _人工智能

Rumelhart和Hinton等人在1986年做出了类似的工作，并将其命名为反向传播算法。
七、1970年：反向传播算法
1970 年， Seppo Linnainmaa率先发表了反向传播的算法，这是一种著名的可微节点网络信用分配算法，也称为「自动微分的反向模式」。

文章插图
Seppo Linnainmaa
Linnainmaa首次描述了在任意、离散的稀疏连接情况下的类神经网络的高效误差反向传播方式。它现在是广泛使用的神经网络软件包的基础，例如PyTorch和谷歌的Tensorflow 。
反向传播本质上是为深度网络实施莱布尼茨链式法则的有效方式。柯西（Cauchy）提出的梯度下降在许多试验过程中使用它逐渐削弱某些神经网络连接并加强其他连接。
1985年，计算成本已比1970年减少约1,000倍，当台式计算机刚刚在富裕的学术实验室中普及时， David Rumelhart等人对已知方法进行实验分析。

文章插图
David Rumelhart
通过实验，鲁姆哈特等人证明反向传播可以在神经网络的隐藏层中产生有用的内部表示。至少对于监督学习，反向传播通常比甘利俊一通过SGD方法进行的上述深度学习更有效。
2010年之前，许多人认为训练多层神经网络需要无监督预训练。2010年， Schmidhuber的团队与Dan Ciresan表明深度FNN可以通过简单的反向传播进行训练，并且根本不需要对重要应用进行无监督预训练。
八、1979年：首个卷积神经网络
1979年，福岛邦彦（Kunihiko Fukushima）在STRL开发了一种用于模式识别的神经网络模型：Neocognitron 。

文章插图
福岛邦彦
但这个Neocognitron用今天的话来说，叫卷积神经网络（CNN），是深度神经网络基本结构的最伟大发明之一，也是当前人工智能的核心技术。
福岛博士引入的Neocognitron ，是第一个使用卷积和下采样的神经网络，也是卷积神经网络的雏形。
福岛邦彦设计的具有学习能力的人工多层神经网络，可以模仿大脑的视觉网络，这种「洞察力」成为现代人工智能技术的基础。福岛博士的工作带来了一系列实际应用，从自动驾驶汽车到面部识别，从癌症检测到洪水预测，还会有越来越多的应用。
1987年， Alex Waibel将具有卷积的神经网络与权值共享和反向传播相结合，提出了延时神经网络（TDNN）的概念。
1989年以来， Yann LeCun的团队为CNN的改进做出了贡献，尤其是在图像方面。

文章插图
Yann LeCun
2011年末， Schmidhuber的团队大大加快了深度CNN的训练速度，使其在机器学习社区中变得更加流行。团队推出基于GPU的CNN：Da.NET ，比早期的CNN更深入、运算更快。同年， DanNet成为第一个赢得计算机视觉竞赛的纯深度CNN 。
由Microsoft Research的4位学者提出的残差神经网络（ResNet），在2015年的ImageNet大规模视觉识别竞赛拔得头筹。
Schmidhuber 表示， ResNet是其团队研发的高速神经网络（Highway Net）的一个早期版本。相较于以前的神经网络最多只有几十层，这是第一个真正有效的、具有数百层的深度前馈神经网络。
九、1987-1990年代：图神经网络与随机Delta法则
可以操纵结构化数据（例如图形）的深度学习架构于1987年由Pollack提出，并在20世纪90年代初由 Sperduti、Goller和Küchler进行扩展和改进。如今，图神经网络被用于许多应用程序中。
Paul Werbos和R. J. Williams等人分析了在RNN中实现梯度下降的方法。Teuvo Kohonen的自组织映射（Self-Organizing Map）也流行起来。

文章插图
Teuvo Kohonen
1990年， Stephen Hanson引入了随机Delta法则，这是一种通过反向传播训练神经网络的随机方法。几十年后，这个方法在「dropout」的绰号下流行起来。
十、1990年2月：生成式对抗网络/好奇心
生成对抗网络（GAN）最早于1990年在以「人工智能好奇心」为名发表。