人工智能300年！LSTM之父万字长文：详解现代AI和深度学习发展史( 四 ) _人工智能

两个对抗的NN（一个概率生成器和一个预测器）试图在一个最小极限游戏中使对方的损失最大化。其中：

生成器（称为控制器）生成概率输出（使用随机单元，如后来的StyleGAN）。
预测器（称为世界模型）看到控制器的输出并预测环境对它们的反应。使用梯度下降法，预测器NN将其误差最小化，而生成器NN试图这个误差最大化——一个网的损失就是另一个网络的收益。

文章插图
在2014年关于GAN的论文之前4年， Schmidhuber就在著名的2010年调查中，将1990年的生成式对抗NN总结如下：「作为预测世界模型的神经网络被用来最大化控制器的内在奖励，它与模型的预测误差成正比」。
而之后发布的GAN ，只是一个实例。其中，试验非常短，环境只是根据控制器（或生成器）的输出是否在一个给定的集合中而返回1或0 。

文章插图
1990年的原理被广泛用于强化学习的探索和现实图像的合成，尽管后者的领域最近被Rombach等人的Latent Diffusion接替。
1991年， Schmidhuber发表了另一个基于两个对抗性NN的ML方法，称为可预测性最小化，用于创建部分冗余数据的分离表征， 1996年应用于图像。
十一、1990年4月：生成子目标/按指令工作
然而，在20世纪90年代初，首次出现了例外。这项工作将传统的「符号」层次式人工智能的概念注入到端到端的可区分的「次符号」（sub-symbolic）NN中。
1990年， Schmidhuber团队的NN学会了用端到端可微分NN的子目标生成器来生成层次化的行动计划，用于层次化强化学习（HRL）。

文章插图
一个RL机器得到额外的命令输入，其形式为（开始，目标）。一个评估器NN学习预测从开始到目标的当前奖励/成本。一个基于(R)NN的子目标生成器也看到了（开始，目标），并使用评估器NN的（副本）通过梯度下降学习一连串成本最低的中间子目标。RL机器试图使用这种子目标序列来实现最终目标。
该系统在多个抽象层次和多个时间尺度上学习行动计划，并在原则上解决了最近被称为「开放性问题」的问题。
十二、1991年3月：具有线性自注意力的Transformer
具有「线性自注意力」的Transformer首次发表于1991年3月。
这些所谓的「快速权重程序员」（Fast Weight Programmers）或「快速权重控制器」（Fast Weight Controllers）就像传统计算机一样分离了存储和控制，但以一种端到端差异化、自适应，以及神经网络的方式。

文章插图
此外，今天的Transformer大量使用无监督预训练，这是Schmidhuber在1990-1991年首次发表的一种深度学习方法。
十三、1991年4月：通过自监督的预训练进行深度学习
今天最强大的NN往往是非常深的，也就是说，它们有很多层的神经元或很多后续的计算阶段。
然而，在20世纪90年代之前，基于梯度的训练对深度NN并不奏效（只对浅层NN有效）。
与前馈NN（FNN）不同的是， RNN有反馈连接。这使得RNN成为强大的、通用的、平行序列的计算机，可以处理任意长度的输入序列（比如语音或者视频）。
然而，在20世纪90年代之前， RNN在实践中未能学习深层次的问题。
为此， Schmidhuber建立了一个自监督的RNN层次结构，来尝试实现「通用深度学习」。

文章插图
1991年4月：将一个NN蒸馏成另一个NN
通过使用Schmidhuber在1991年提出的NN蒸馏程序，上述神经历史压缩机的分层内部表征可以被压缩成一个单一的递归NN（RNN）。
在这里，教师NN的知识被「蒸馏」到学生NN中，方法是训练学生NN模仿教师NN的行为（同时也重新训练学生NN ，从而保证之前学到的技能不会被忘记）。NN蒸馏法也在许多年后被重新发表，并在今天被广泛使用。