江苏龙网

  1. 主页 > 生活百科 > >

“AI 教父”Geoffrey Hinton：AI 会欺骗人类，控制超级智能非常重要( 三 )

AI


同样，这只是梯度的随机估计，但噪声要比扰动权重小得多 。这个算法足够好以学习简单的任务，比如识别数字 。
如果您使用非常非常小的学习速率，它的行为就和反向传播完全一样，但速度要慢得多，因为您需要使用非常小的学习速率 。如果您使用较大的学习速率，它会有噪声，但对于类似MNIST的任务仍然可以很好地工作，但不能很好地扩展到大型神经网络 。
要使其扩展，我们可以采取两种方法 。不是试图找到适用于大型神经网络的学习算法，我们可以尝试找到适用于小型神经网络的目标函数 。这里的思路是：我们想要训练一个大型神经网络的话，要做的是使用许多小的目标函数来应用于网络的各个小部分 。
因此，每个小组神经元都有自己的局部目标函数 。现在，可以使用这种活动扰动算法来训练一个小型的多层神经网络 。它的学习方式与反向传播大致相同，但噪声较大 。然后通过使用许多更多的小型局部神经元组，将其扩展到更大的网络规模 。
这引出了一个问题，即这些目标函数是从哪里来的？一种可能性是在局部区域进行无监督学习，即在图像的每个层级上都有局部区域的表示，并使得每个局部区域在特定图像上产生局部神经网络的输出 。然后尝试使该局部神经网络的输出与所有其他局部区域产生的平均表示一致 。
您试图让从局部区域提取的内容与同一图像中所有其他局部区域提取的内容达成一致 。因此，这是经典的对比学习 。同时，您还试图与同一层级上其他图像中提取的内容产生不一致 。
具体细节更加复杂，我们不会详细介绍 。但我们可以使这个算法运行得相当好，其中每个层级的表示都有几个隐藏层，您可以进行非线性操作 。各个层级使用活动扰动逐渐学习，而较低层级没有反向传播 。
因此，它的能力不会像反向传播那样强大，因为它无法在许多层级上传播反向信号 。很多人投入了大量工作使这个算法能够运行，并且已经证明它可以相对良好地工作 。它的效果可能比其他提出的在实际神经网络中可能有效的算法要好 。但是要使它工作起来是有技巧的 。它仍然不如反向传播好 。
随着网络变得更深，它相对于反向传播的效果会显著下降 。我没有详细介绍这种方法的所有细节，因为您可以在一篇发表在ICLR上的论文和网络上找到相关资料 。

“AI 教父”Geoffrey Hinton：AI 会欺骗人类，控制超级智能非常重要

文章插图
现在，让我谈谈对于“非永生计算”而言的另一个重大问题 。
总结一下，到目前为止，我们还没有找到一个真正好用的学习算法，可以充分利用模拟属性 。但我们有一个可以接受的学习算法，足以很好地学习诸如小规模任务和一些较大的任务（如Imag.NET），但效果并不太好 。
【“AI 教父”Geoffrey Hinton：AI 会欺骗人类，控制超级智能非常重要】所以“非永生计算”的第二个重大问题，是其“非永生计算”性 。
当特定的硬件设备失效时，所有学到的知识也会随之丧失，因为知识和硬件细节密切相连 。解决这个问题的最佳方案是在硬件设备失效之前，将知识从教师传授给学生 。这就是我现在正在尝试做的事情 。教师向学生展示了对各种输入的正确响应，然后学生试图模仿教师的反应 。
如果你观察特朗普的推文是如何运作的，人们会因为他们认为特朗普说的是虚假的东西而感到非常不满 。他们认为他试图描述事实，但事实上并非如此 。特朗普所做的是对某种情况做出非常情绪化的回应 。这使得他的追随者能够根据这种情况来调整他们神经网络中的权重，以便对该情况给出相同的情绪化回应 。
这与事实无关，而是关于从一个邪教领袖到邪教追随者获取偏执的运作反馈，但它确实非常有效 。
如果我们考虑蒸馏方法的效果，以一个将图像分类为大约一千个不重叠类别的代理为例 。只需要大约10位的信息来确定正确答案 。当你在训练这个代理时，如果告诉它正确答案，你只对网络的权重施加了10位的约束 。
这并不是很多的约束 。但是现在假设我们训练一个代理来与教师对这1024个类别的响应一致 。假设这些概率中没有微小的、不重要的部分，也就是获得与该分布相同的概率分布，该分布包含1023个实数，提供了数百倍的约束 。
不久前，我和杰夫·迪恩（Jeffrey Dean）一起研究了蒸馏方法，并证明它可以非常有效地工作 。确保教师输出概率中没有很小值的方法是在训练学生时，将教师和学生都以高温度参数运行 。对于输入softmax函数的低级概率值（即"low chips"），对教师的输出进行温度参数缩放，以获得更平滑的分布 。在训练学生时，使用相同的温度参数 。需要注意的是，这种温度参数调整仅在训练过程中使用，而不是在使用学生进行推理时 。


推荐阅读


上一篇：调查显示：实际上没有那么多人在用 ChatGPT

下一篇：ie浏览器打不开网页怎么办？